Budoucí město se nacházelo na křižovatce obchodních cest ve 12. století, což mu předurčovalo prosperitu a růst. První písemná zmínka o městu pochází z roku 1184 a týká se bohatého velmože Jiřího z Milevska. Na jeho popud byl ve městě založen roku 1187 premonstrátský klášter. O výstavbu kláštera se zasloužili řeholníci vedení opatem Jarlochem. Během následujících let procházel majetek kláštera rozkvětem a díky dobré správě a výhodné pozici na křižovatce cest se stal brzy jedním z nejbohatších klášterů v zemích koruny České. Pád moci milevského kláštera je spojen s husitstvím.