Hilary Duff en sortie

Elle sort ensuite deux autres albums, au succès moindre : Hilary Duff puis la compilation Most Wanted, dont les chansons inédites sont, pour certaines, co-signées par Joel Madden du groupe Good Charlotte, qui est alors son compagnon. L'album reste n°1 des ventes d'albums au USA pendant 2 semaines^{[réf. nécessaire]}. C'est en 2007 que sort son quatrième album : Dignity (sorti le 26 mars en France, en première sortie mondiale, puis une semaine plus tard aux États-Unis). Les sonorités de l'album sont plus pop-dance que les précédents. Deux singles le précèdent: Play with fire et With love, dont le clip sert au lancement de son parfum With Love... Hilary Duff. Cet album est également un gros succès il se classe directement 18^e dans les charts américains, 1^er au Canada ainsi qu'en Angleterre. En France, l'album est lancé sans aucune promotion, et ne rencontre pas le succès. raven de la croix photo sexy Un nouvel extrait de l'album sort ensuite aux Etats-Unis, au Canada, en Angleterre, et en Australie. Intitulé Stranger, le clip associé met en scène Hilary dansant, pour la première fois de sa carrière, une danse orientale. L'album s'écoule à plus d'un million d'exemplaires dans le monde^{[réf. nécessaire]}.

En 2004, Hilary sort avec le chanteur du groupe Good Charlotte, Nina Friederike Gnädig sexy Joel Madden. C'est un an plus tard que la mère d'Hilary, Susan annonce que sa fille sort bien avec Joel, de 8 ans son ainé. Leur relation se finit en novembre 2006, après deux ans et demi de couple.

En 2005, suite à l'Ouragan Katrina qui a dévasté Nina Friederike Gnädig nue la Nouvelle-Orléans et la Louisiane, Hilary fait un don de 200.000 $ à la Croix Rouge américaine. L'année suivante, à l'occasion de l'anniversaire de la catastrophe, elle fait du bénévolat en venant en aide à la population locale.