[[Kuva:Hapsals slott 1889.jpg|thumb|vasen|250px|Haapsalun linna [[1889]]]]
[[Kuva:Haapsalujaam2006.jpg|thumb|vasen|250px|Haapsalun vanha rautatieasema [[2006]]]]
Ruotsin vallan aikana 1600-luvun alussa kaupunkia koittelikoetteli nälänhätä. Ruotsin vallan aikana kaupungin raadin jäsenmäärää leikattiin puoleen ja valtaa keskitettiin läänitysherroille. 1690-luvulla kaupungissa asui arviolta 600 henkilöä.<ref>{{Verkkoviite | Osoite = http://www.haapsalu.ee/index.php?lk=107&show=10856 | Nimeke = Rootsi aeg | Tekijä = Ülla Paras | Tiedostomuoto = | Selite = | Julkaisu = | Ajankohta = | Julkaisupaikka = | Julkaisija = Haapsalu linn | Viitattu = 24.11.2010 | Kieli = {{et}} }}</ref> Vuonna 1715 [[Pietari Suuri]] tuhosi kaupunkia sotiessaan ruotsalaisten kanssa. Sodan ja ruton koetellessa kaupunkia väkimäärä oli laskenut noin 100 asukkaaseen.<ref name="neil-201"/> Kaupungintalo valmistui vuonna 1775.<ref name="innum-4"/> 1800-luvulla Carl Abraham Hunnius toi eloa kaupunkiin avaten sinne ensimmäisen mutakylpylän vuonna 1825. Kaupungin suosio nousi, kuninkaallinen perhekin osoitti kiinnostustaan kaupunkia kohtaan. Haapsalusta tulikin suuri kesälomakohde.<ref name="neil-201"/> Vuonna 1864 Haapsalussa oli 2 294 luterilaisen kirkon jäsentä, joista 700 oli saksalaisia ja 1 600 virolaisia. 1800-luvun alussa kaupungin katuja päälystettiin ja ne saivat valaistuksen. Rakentaminen vauhdittui muutenkin nopeasti ja tyhjille tonteille rakennettiin uusia taloja. 1800-luvun puolivälissä kaupungista aloitettiin säänöllinen laivaliikenne [[Pietari (kaupunki)|Pietariin]] ja [[Riika]]an. 1860-luvulla kaupunkiin rakennettiin lennätinasema.<ref>{{Verkkoviite | Osoite = http://www.haapsalu.ee/index.php?lk=107&show=10858 | Nimeke = 19. sajand | Tekijä = Ülla Paras | Tiedostomuoto = | Selite = | Julkaisu = | Ajankohta = | Julkaisupaikka = | Julkaisija = Haapsalu linn | Viitattu = 24.11.2010 | Kieli = {{et}} }}</ref>
Vuonna 1905 Haapsaluun valmistui Tallinnaan johtava rautatie.<ref name="innum-4"/> Haapsaluun johtava rautatie kuitenkin purettiin vuonna 2004, kun 1990-luvulla rautatien 300 eurolla ostanut yksityisyrittäjä myi ratakiskot. Nykyään rautatien tilalla Haapsaluun johtaa 53 kilometriä pitkä pyörätie, jota kutsutaan "Terveydentieksi". <ref>{{Verkkoviite | Osoite = http://www.hs.fi/matkailu/artikkeli/Hiljainen+rata+Haapsaluun/HS20120608SI1ME029ua | Nimeke = Hiljainen rata Haapsaluun | Tekijä = HS.fi | Tiedostomuoto = | Selite = | Julkaisu = 8.6.2012 | Ajankohta = | Julkaisupaikka = www.hs.fi | Julkaisija = Helsingin Sanomat | Viitattu = 31.7.2012 | Kieli = {{fi}} }}</ref> Nykyään vanha rautatieasema toimii museona, jonka edustalla on nykyään bussiyhteyksien pysähdyskohta. Kaupungissa ei ole varsinaista bussiasemaa.
