{{Korjattava/kieli|pitäisi tarkistaa kokonaan, kun paikoitellen käännöksessä huomaa englannin vaikutuksen}}
Hilary Duffin toinen studioalbumi oli nimeltään ''Hilary Duff'', missä Hilaryhän oli mukana myös kirjoittamassa joitakin laulun sanoja. Duff kuvasi albumin olevan enemmän "henkilökohtainen" ja sen sisältävän enemmän "rockmeininkiä" kuin ''MetamorphosissaMetamorphosis''. Albumi julkaistiin samanaHilaryn päivänä17-vuotispäivänä kun Hilary täytti seitsemäntoista (syyskuussa 2004) ja sijoittuise sijalleylsi 2toiseksi Yhdysvalloissa ja sijalle 1listaykköseksi Kanadassa. Albumi myi yli 1,5 miljoonaa kopiotkopiota Yhdysvalloissa kahdeksan kuukauden sisälläaikana. Seuraava single albumilta oli kappale "Fly", joka ylsi neljänkymmenen40 parhaan joukkoon Australiassa, missäjossa tuotettiin toinen neljänkymmenen parhaan joukkoon yltävä top-40-single "Someone's Watching over Me", mikäjoka esiintyi myössoi elokuvassa ''[[Kesän sävelet]]''. Duff esitti kappaleen "(I'll Give) Anything but Up!" vuoden [[2004]]albumillealbumilla ''Marlo Thomas & Friends: Thanks & Giving All Year Long''.
Vuonna 2004 Duff näytteli pääosaa romanttisessa elokuvassa ''[[Tuhkimotarina (vuoden 2004 elokuva)|Tuhkimotarina]]''. Vaikka arvostelut olivatkin suurimmaksi osaksi negatiivista, elokuva myi hyvin ja kriitikot olivat vaikuttuneita Duffin suorituksesta. Myöhemmin samanaSamana vuonna Duff näytteli ensimmäisessä draamaelokuvassaan ''Kesän sävelet''. Jotkut kriitikot kehuivatarvostivat Duffia,Duffin sillätyylinvaihdosta tämävakavampaan esiintyi nyt paljon vakavammassa roolissa toisin kuin aikaisemminrooliin. Samana vuonna Duff sai ensimmäisen ehdokkuudenehdokkuutensa [[Golden Raspberry]] -palkinnollepalkintoon kategoriassa "huonoin naisnäyttelijä" elokuviensaelokuvien ''Kesän sävelet'' ja ''Tuhkimotarina'' ansiostatakia.
Vuonna [[2005]] Duff esitti elokuvassa ''[[The Perfect Man]]'' eronneen naisen ([[Heather Locklear]]) vanhinta tytärtä. Elokuva ansaitsisai enimmäkseen tylyänuivia arvosteluaarvioita eikä myynytkääntuottanutkaan kovin hääppöisästihyvin. Samana vuonna Duff oli taas ehdolla [[Golden Raspberry]] -ehdokkaana palkinnolle elokuviensaelokuvista ''The Perfect Man'' ja ''[[Villi tusina 2]]'' ansiosta. Vuonna 2006 Duff ja tämän siskosisar Haylie näyttelivät miljonäärisisaruksia satiirissasatiirisessa komediassa ''[[Material Girls]]''. Tämäkään elokuva ei myynyt hääppöisästi,hyvin ja sen huomasi myös kriitikoideneikä antamistamiellyttänyt arvosteluistakriitikoita. Duff ja Haylie ansaitsivat molemmat kaksi ehdokkuutta [[Golden Raspberry]] -palkinnolle elokuvastaan.
Duffin kolmas albumi ''Most Wanted'' (2005) sisälsi Duffin lempikappaleitakappaleita kahdelta viimeedelliseltä levyltä, remix-kappaleita ja uusia kappaleita joiden innoittajina on toiminut muun muassa bändit [[The Killers]] ja [[Muse]]. Levyn ensimmäisestä singlestä "Wake Up" tuli Duffin parhaiten sijoittunut single Yhdysvalloissa. Albumin toisen singlen "Beat of My Heart" -musiikkivideo oli myös suosittu, mutta itse single ei menestynytyltänyt listoille saakka Yhdysvalloissa. Albumi sijoittui ykköseksi ''[[Billboard 200]]'' -listalla, ja siitä tuli hänen kolmas ykköseksi sijoittunut debyyttiykkössija Kanadassa. Duff äänittilevytti uudenHaylien kappaleen elokuvalleen ''Material Girls'', mikä oli hänen ja Haylienkanssa cover-versioversion [[Madonna]]n kappaleesta nimeltä "Material Girl".
Vuonna 2005 medialle väitettiin että Duff on alkanut syödä enemmän, jonka takia hänen täytyisi laihtua, vaikkakin Duff kiisti tämän väitteen. Duff oli haastattelussa Australian asiashowssa ''Today Tonight'' jossa Duff kertoi että oli laihtunut noudattamalla enemmän aktiivista elämäntapaa. Myöhemmin vuonna [[2006]], Brittiläinen lehti ''Digital Spy'' kirjoitti eräässä artikkelissaan, että Duff on alkanut käyttää vaatekokoa 32 sillä media arveli että hän oli laihtunut noin seitsemän kiloa. Hilary ilmoitti että aikoo pysyä nykyisessä painossaan, ettei kukaan pääse tuomitsemaan että hän olisi "liian lihava" tai "liian laiha". Duff kutsui tätä nimittelyä "tuomitsevaksi" ja "ilkeäksi".
