Prvním vlastníkem Pardubic na začátku 14. století byl Púta z Dubé. Kolem roku 1325 vyměnili jeho synové Pardubice s rytířem Arnoštem z Hostýně. Jeho syn Arnošt z Pardubic byl prvním pražským arcibiskupem. Na scénu nastoupil šlechtický rod pánů z Pardubic, kteří měli ve svém znaku přední bílou (stříbrnou) polovinu koně se zlatou uzdou na červeném štítu. Arnoštova závěť z roku 1340 je prvním dokladem o existenci Pardubic jako města, přesněji jako poddanského městečka. Povýšení Pardubic na městečko se tedy uskutečnilo někdy v letech 1332–1340. V roce 1390 byla postoupena část panství Hanušovi z Milheimu. Dalším majitelem po jeho smrti se na začátku husitských válek stal Viktorín Boček z Kunštátu a Poděbrad. Za husitských válek Pardubice pravděpodobně získal úchvatem moravský šlechtic Jan Hlaváč z Mitrova.