Nimensä karmeliitat ovat saaneet Palestiinan Karmelvuoren mukaan. Vuorella syntyi 1190-luvulla pyhän Eliaan lähteen luo erakkoyhteisö, joka on karmeliittasääntökunnan alku. Ensimmäisen, ns. pyhän Albertuksen säännön (1208-141208–14) mukaan karmeliitan tuli elää uskossa, toivossa ja rakkaudessa ja työtä tehden, elää yhteisöelämää, lakkaamatta rukoilla hiljaisuudessa ja yksinäisyydessä sekä käyttää arvostelukykyä kaikessa. Muslimien valloittaessa Palestiinan karmeliitat pakenivat 1200-luvun puolessavälissä Eurooppaan, jossa he joutuivat luopumaan erakkoelämästään ja muuttumaan kerjäläismunkkijärjestöksi. Heidät tunnettiin nimellä Karmelvuoren Neitsyt Marian veljet. Vuonna 1452 paavi Nikolaus V julkaisi bullansa "Cum Nulla", joka on ns. toisen ja kolmannen sääntökunnan perustamisasiakirja. Siitä lähtien on ollut sääntökuntaan kuuluvia nunnia ja maallikkoja. 1500-luvun lopulla syntyi pyhän Jeesuksen Teresan (1515-15821515–1582) perustamana uusi karmeliittasääntökunta, niin sanotut kengättömät karmeliitat. Vanhan observanssin karmeliittasääntökunta (Ordo Carmelitarum, lyh. O. Carm) ja reformoitu sääntökunta (Ordo Carmelitarum Discalceatorum lyh. OCD) ovat erillisiä sääntökuntia, joilla kummallakin on munkki-, nunna- ja maallikkohaara sekä suuri määrä karmeliittojen kahteen sääntökuntaperheeseen assosioituneita, karmeliittaspiritualiteettia noudattavia sääntökuntia. O.Carm. ja OCD-karmeliittojen johto on Roomassa. Karmeliitoilla on YK:ssa NGO-status.
