Toweria on käytetty [[vankila]]na toisaalta ylhäisölle, toisaalta [[uskonto|uskonnollisille]] [[toisinajattelija|toisinajattelijoille]]. Ylhäisölle tarjottiin linnasta usein suhteellisen mukavat oltavat, kun taas toisinajattelijoita kohdeltiin usein huonommin ja [[kidutus|kidutettiin]]. Linnassa ovat olleet vankeina muun muassa [[Skotlanti|Skotlannin]] [[John Balliol]] ja [[David II (Skotlanti)|David II]]{{lähde}}, [[Ranska]]n [[Juhana II (Ranska)|Juhana II]], [[Englanti|Englannin]] [[Henrik VI (Englanti)|Henrik VI]], lapsi-ikäinen [[Edvard V]], joka oletetusti murhattiin linnassa, [[Ruutisalaliitto|ruutisalaliiton]] jäsen [[Guy Fawkes]] ja [[Irlanti|Irlannin]] itsenäisyysliikkeeseen osallistunut suomalaisupseeri [[Johan Anders Jägerhorn]], joka oli linnassa vankina vuosina 1799–1801.
Towerin vakituinen käyttö vankilana lopetettiin 1830-luvulla, mutta silloin tällöin sen joissakin tiloissa on myöhemminkin pidetty vankeja, etenkin sota-aikoina. [[Ensimmäinen maailmansota|Ensimmäisen maailmansodan]] aikana sinne vangittiin yksitoista saksalaista [[vakoilu|vakoilijaa]], jotka myös ammuttiin siellä. Viimeinen Towerissa vangittuna ollut Britannian kansalainen oli maanpetoksesta tuomittu [[Norman Baillie-Stewart]], joka suoritti tuomionsa 1933–1937.<ref name=SSR>{{Verkkoviite | Osoite = http://www.stephen-stratford.co.uk/baillie_stewart.htm | Nimeke = British Military & Criminal History in the period 1900 to 1999. | Tekijä = Stephen Stratford | Julkaisija = Stephen's Study Room | Viitattu = 15.11.2009 | Kieli = {{en}} }}</ref> Viimeinen Towerissa pidetty valtiollinen vanki oli saksalainen poliitikko [[Rudolf Hess]], jota pidettiin siellä neljän päivän ajan [[toinen maailmansota|toisen maailmansodan]] aikana toukokuussa [[1941]].<ref>[http://tudorhistory.org/places/tower/ Tower of London] Turdor History</ref>
