Tvrđava smeštena na strmoj litici na izlazu iz kanjona Mileševke, viševekovni je čuvar nemanjićke zadužbine manastira Mileševe. Ne zna se tačno ko je podigao grad, ali se pretpostavlja da je izgrađen odmah posle zidanja Mileševe 1219. godine. Prema pisanju putopisca Evlije Čelebije, tvrđava je imala 12 kula i njen osnovni cilj je bio zaštita manastira i karavanskog puta koji je povezivao Prijepolje i Sjenicu.

U ranom srednjem veku bio je u sastavu srpske države, a posle 1373. godine, kada su posedi Nikole Altromanovića podeljeni između kneza Lazara i bosanskog bana Tvrtka, Mileševac je došao u sastav bosanske države. Od sedamnaestog veka kao ime tvrđave se javlja termin Hisardžik (od turske reči hisar, što znači tvrđava). Taj naziv se danas očuvao u imenu sela u čijem podnožju je utvrđenje i smešteno.

Do Mileševca je moguće doći samo sa jugozapadne strane, jer je okomita stena na kojoj je tvrđava podignuta, prirodno, sa tri strane (istočne, severne i zapadne), zaštićena oštrim liticama.