Губернаторский дом был построен местным архитектором П. Я. Паньковым в 1819-21 годах. Строительством этого дома,
соединенного парком с главной площадью города - Ильинской (Советской) и расположенными там зданиями
присутственных мест, завершилось формирование административного центра города.
Трёхэтажное, первоначально увенчанное бельведером, здание с двумя флигелями главным фасадом выходит
на набережную Волги. Устроенная напротив полукруглая терраса набережной, как бы продолжавшая
балкон дома, виднеющаяся невдалеке изящная беседка-ротонда связывают здание с пейзажем,
создавая постепенный переход от жилого пространства дома к бескрайнему простору реки.