Naseljeno još u rimsko doba, Srednje Polimlje se nalazilo u sastavu najstarije srpske države Raške. Prijepolje se pominje kao trg manastira Mileševe. Grad se razvio kao drumsko naselje na karavanskom putu, poznatom pod nazivom Dubrovački drum, koji je povezivao centralne i istočne delove Balkana sa srednjim delom jadranske obale.

Dolina Lima je bila značajan deo srpskih zemalja tokom 14. veka i kasnije, predstavljajući kulturno-religiozno, administrativno-upravno, ekonomsko i saobraćajno središte. U 15. veku teritorija i Srbija su postale deo turskog carstva, usled čega je Polimlje izgubilo značajnu ulogu.

Krajem 19. veka, austrougarska monarhija je donela promene na ovim prostorima, unoseći uticaj nove civilizacije i kulture.