Палата барона Рајачића грађена је у првој половини XVIII века (1836-1848), а данашњи изглед добија 1920. године. Зграду је барон Рајачић откупио од породице Миоковић-Хаџи и реновирао је 1856. године по плану бечког архитекте Сидека. Колска капија представља посебан објекат на којем се испод троуглог тимпанона налази грб Рајачића. Изнад средњег прозора на спрату у средишњем делу пише: "Илион". Двор дворишном фасадом према Железничкој улици гледа на некада прелепи парк, који је данас претворен у травњак. У дворишту дворца се налази чесма Патријарховац, посвећена Богојављењу, а изграђена је 1864. године. Двор се налази у улици Патријарха Рајачића. Основа зграде је у облику великог слова "T" чији средњи крак није симетричан и прекратак је у поређању са главним правоугаоним делом основе. Фасада у приземљу има три испада, а средњи део је крунисан кровом на шест вода и доминира фасадом. Данас je зграда претворена у Градски музеј Сремских Карловаца са етнолошком збирком предмета, собом и кухињом са краја XIX века. Приликом обиласка у априлу 2007. године музеј је био у фази реновирања. Двор је споменик културе од изузетног значаја.

Дворац је тренутно затворен за посетиоце!