Tradycja łączy budowę w Radomiu gotyckiego zamku z królem Kazimierzem Wielkim, który lokował nowe miasto na prawie magdeburskim. Budowla została wzniesiona ok. 1360 roku w południowo-wschodniej części Miasta Kazimierzowskiego. Określana początkowo jako curia (dwór), była czymś w rodzaju stacji podróżnej dla króla. Założenie zamkowe tworzyły dwa piętrowe budynki połączone gankiem komunikacyjnym. Ten ważniejszy, mieszkalny, zwany Domem Wielkim, miał 11 na 38 metrów. Zbudowano go tak, że nieco wystawał poza obręb murów miejskich. Drugi z budynków, pełniący rolę kuchni i spiżarni, miał wymiary 10 na 20 metrów. W skład zespołu wchodziła w tym czasie przynajmniej jedna wieża. Jak dokładnie wyglądał, nie wiadomo. Nie zachowała się bowiem żadna rycina czy obraz.
Założenie rozbudowano jeszcze w XV wieku - zamek został oddzielony od miasta własnym murem. Na dziedziniec wjeżdżało się przez bramę przy obecnej ul. Grodzkiej.
W latach 1510-1515, na polecenie króla Zygmunta Starego, zamek został przebudowany i rozbudowany w stylu późnogotycko-renesansowym przez starostę radomskiego Mikołaja Szydłowieckiego. Przebudowa miała na celu stworzenie wygodnej rezydencji, w której król mógłby zatrzymywać się w czasie swoich podróży z Krakowa do Wilna. Przypuszczalnie wtedy ozdobiono zamek kamieniarką, której fragmenty odkryto podczas prac archeologicznych. Po przebudowie rezydencja królewska miała kształt trójkondygnacyjnego podłużnego budynku z kamiennymi krużgankami i dekoracją gotycko-renesansową. Kolejne prace modernizacyjne prowadzono przypuszczalnie z inicjatywy kolejnych starostów: Piotra Firleja z Dąbrownicy i Jana Lutomierskiego.
https://www.cozadzien.pl/radom/spacerkiem-po-miescie-klub-miedzynarodowej-ksiazki-i-prasy-ruch/81679
To na epokę Jagiellonów przypada najświetniejszy okres w dziejach radomskiego zamku. Jego ranga zmalała znacznie, kiedy stolica Polski została przeniesiona z Krakowa do Warszawy. Opuszczony zamek niszczał. Jego stan w 1656 roku musiał być daleki od doskonałości, skoro król szwedzki nie wybrał go na swoją siedzibę, kiedy przyjechał do Radomia. Ale to właśnie Szwedzi podczas potopu dopełnili dzieła zniszczenia założenia zamkowego. Późniejsze remonty nie przywróciły mu ani renesansowych walorów, ani dawnej rangi.
W 1787 roku starosta Aleksander Potkański gruntownie przebudował zamek. Rozerwano wówczas piętro Domu Wielkiego, a na parterze urządzono 10 pokoi zamiast dwóch dużych komnat. Dziesięć lat później rozebrano wieżę i mur oddzielający zamek od miasta. W XIX wieku, ze względu na zły stan techniczny, rozebrano budynek gospodarczy, a na jego fundamentach wzniesiono nowy, istniejący do dziś i zwany Kamienicą Starościńska.
Do dziś zachowały się też dwie kondygnacje (w tym piwnice) Domu Wielkiego. W 1862 roku rząd gubernialny przekazał niszczejący budynek parafii pw. św. Jana Chrzciciela na plebanię. Mieści się ona w nim nadal.
