Manastir se nalazi se u centralnoj Srbiji na obroncima planine Golije. U srednjem veku nalazio se severno od Rasa, takođe u središnjem
delu srpske države. U blizini manastira prolazio je tada važan put za Arilje, čiji je jedan krak bio usmeren ka Studenici. Manastir je bio
podignut iznad reke Brvenice, nedaleko od nalazišta kamena za gradnju, na mestu bogatom izvorskim vodama, okruženom šumama
i pašnjacima koji su verovatno bili manastirski posed.U manastirskom kompleksu nalaze se dve crkve: veća crkva je posvećena Presvetoj
Bogorodici, a manja Svetom Nikoli. Veća crkva bila je grobno mesto ktitorke manastira, svete kraljice Jelene Nemanjić, žene kralja Uroša.
Uroševo učešće u izgradnji potvrđuje i dvojna grobnica pripremljena za osnivače crkve i ktitorska kompozicija naslikana iznad nje.
Na njoj je kraljica Jelena predstavljena kao glavni ktitor. Na steni iznad ulaza u manastir nalazi se mala crkva posvećena Svetom Nikoli.
Vreme građenja ove crkve nije utvrđeno. Po arhitektonskim odlikama pretpostavlja se da je podignuta u drugoj polovini 13. veka. Moguće
da su u ovoj crkvi vršena bogosluženja za vreme zidanja velike crkve. Po dovršenju manastira ona je stepeništem bila povezana
sa konakom i možda je služila kao dvorska kapela.Gradac je osnovan kao muški manastir. Kraljica ga je bogato opremila i prepustila monasima.
U 14. veku u manastiru je živeo veliki broj monaha, o čemu svedoče brojne nadgrobne ploče iz ovog perioda. Krajem 16. veka iguman
Stefan i jeromonah Pajsije iz Đurđevih stupova izvršili su veliku obnovu Bogorodičine crkve. Crkvu su zatekli bez krova i pokrili su je olovom.
Početkom 19. veka osnovano je današnje selo Gradac. Jedan deo crkve obnovljen je radi bogosluženja. Ali, i dalje je crkva bila bez svodova,
kupole, nameštaja, zasuta zemljom u visini od dva metra. Godine 1910. nad njom je postavljen zaštitni krov sa crepom, oslonjen
na drvene stubove. U narednom periodu postojala je težnja da se crkva obnovi, ali sve do sredine 20. veka ona nije bila ostvarena.
Godine 1982. počela je izgradnja konaka na starim temeljima, u kojem sada živi gradačko sestrinstvo.