Ryōan-jin paikalla sijaitsi muinoin En’yū-jin temppeli, joka valmistui vuonna 983. MyöhemminSe kuitenkin taantui pian, ja jo 990-luvulla temppelin alueesta tuli ministeri (''[[sadaijin]]'') [[Tokudaiji Saneyoshi|Fujiwara Saneyoshin]] omaisuutta. Saneyoshi perusti paikalle huvilan ja antoi sille nimeksi Tokudaiji (徳大寺). [[Tokudaiji (suku)|Tokudaiji-suvunsuku]] huvila,otti jonkamyöhemmin huvilalta nimensä.<ref name="nenpyo"/> Vuonna 1450 [[Ashikaga-bakufu|Ashikaga-sotilashallinnon]] virkamies [[Hosokawa Katsutomo]] vaihtoi omaanoman läänitysalueeseensaläänitysalueensa vuonnahuvilan 1450alueeseen. Katsutomo perusti huvilan paikalle Ryōan-jin temppelin, jonka ensimmäiseksi apotiksi kutsuttiin munkki [[Giten Genshō]] Myōshin-jin temppelistä.<ref name="kotobank"/><ref name="rekishi"/>
VuosinaTemppeli 1467–1477paloi käydyssävuonna 1468 [[Ōnin-sota|Ōnin-sodassa]], joka käytiin vuosina 1467–1477. Sodan aikana temppeli paloisiirrettiin lyhyeksi aikaa Kioton keskustaan, mutta se palasi pian vanhalle paikalleen. SenSodan päätyttyä Ryōan-jin rakennutti uudelleen Katsumoton poika [[Hosokawa Masamoto]], joka kutsui sen apotiksi munkki [[Tokuhō Zenketsu]]n vuonna 1488. Uusi päärakennus (''hōjō'') valmistui vuonna 1499, ja myös temppelin kuulun kivipuutarhan ajatellaanarvellaan olevan peräisin tältä aikakaudelta. Ryōan-jilläVuonna oli1588 aikoinaantemppelillä jopavieraili 21[[Toyotomi pientäHideyoshi]] yhdessä [[Gamō Ujisato]]n ja [[Maeda Toshiie]]n kanssa. Hideyoshi ihasteli temppelin riippuvia [[kirsikka]]puita ja kirjoitti niistä ''[[tatchūtanzaku]]''-sivutemppeliä,runon; muttamyös vuonnaUjisaton 1797ja temppelinToshiien tärkeimmätvierailun rakennuksetyhteydessä tuhoutuivatkirjoittamat jälleenrunot tulipalossa,ovat minkäsäilyneet jälkeen senykypäivään taantuisaakka.<ref name="kotobank"/><ref name="rekishi"/><ref name="nenpyo"/>
Aikoinaan Ryōan-jillä oli jopa 21 pientä ''[[tatchū]]''-sivutemppeliä, mutta vuonna 1797 temppelin tärkeimmät rakennukset tuhoutuivat tulipalossa, minkä jälkeen se taantui.<ref name="kotobank"/><ref name="rekishi"/> Temppelin ''shōdō'' eli perustajan halli rakennettiin uudelleen vasta vuonna 1977, ''butsuden'' eli buddha-halli vuonna 1981. 1980-luvun alussa temppelin läntistä puutarhaa restauroitiin [[Muromachi-kausi|Muromachi-kauden]] asuun.<ref name="nenpyo"/>
Ryōan-ji suojeltiin valtion muinaisjäännöksenä vuonna 1924, ja erityinen maisemakohde (''tokubetsumeishō'') siitä tehtiin vuonna 1955. [[Unesco]]n [[maailmanperintöluettelo]]on temppeli nimettiin vuonna 1994.<ref name="nenpyo"/>
