Koraanin mukaan mekanKaaban rakensivat Ibrahim ([[Abraham]]) ja hänen poikansa Ismael. Ei-islamilaiset tutkijat eivät tunnusta tätä, mutta Mekan uskotaan olleen uskonnollinen keskus jo kauan sitten.
[[Muhammad]]in aikaan MekkaKaaba oli useiden eri heimojumalien palvontapaikkana, ja sitä hallitsi Muhammadin oma heimo, kureishit. [[Beduiinit]] ja muiden arabialaiskaupunkien asukkaat tekivät joka vuosi Mekkaan yhdistetyn pyhiinvaelluksen ja kauppamatkan, joka on nykyisen islamilaisen pyhiinvaellustradition taustalla. Kureishit karkottivat Muhammadin Mekasta [[Medina]]an. Palattuaan valloittajana vuonna 630, hän määräsi MekanKaaban puhdistettavaksi pakanahahmoista ja kaikista monijumaluuden merkeistä. Jotkut ovat tulkinneet Koraania myös niin, että vain MekanKaaban perustukset jätettiin tässä yhteydessä jäljelle, rakennettiin uusi pyhäkkö aiemman tilalle. Sen jälkeen MekkaKaaba on ollut islaminuskon polttopiste.<ref name="EncyBritannica"/>
Kaaba on tuhoutunut tai sitä on rikottu useasti Muhammadin aikojen jälkeen. Vuonna 930 shiialainen äärilahko vei Kaaban mustan kiven pois ja piti sitä hallussaan 20 vuotta lunnaita vastaan.<ref name="EncyBritannica"/> Kaabaa on tiettävästi kunnostettu ja jälleenrakennettu kaksitoista kertaa, viimeksi vuonna 1996.
