Hasan-agina džamija je izgrađena oko 1758. godine u Priboju, a sagradio ju je pribojski muselim Hasan-aga, sin Mustafin. Prvo je izgradio mesdžid, a kasnije i minaret džamije, koja je nešto kasnije dobila ime po njemu. Pored džamije, Hasan-aga je u svom rodnom gradu sagradio mekteb i donirao zgrade, kuće, njive i novac za pribojske Bošnjake.

Tokom svog postojanja, džamija je pretrpela dva požara i bila je obnavljana, a poslednja temeljna rekonstrukcija, kojom je dobila današnji izgled, obavljena je 1982. godine. U dvorištu džamije su očuvani nišani, od kojih se pretpostavlja da najstariji pripada samom Hasan-agi, dok ostali pripadaju njegovim potomcima.