Павел I в 1797 году, враждебно относящийся к своей матери Екатерине II, которая не любила его и имела намерение лишить трона, после её смерти отдает причудливый приказ разобрать находящийся на Ильинской площади дворец
наместника со столь ненавистным вензелем императрицы на фасаде.
Исполнять это странное распоряжение пришлось гражданскому губернатору князю Н. С. Урусову. "Вчерне построенный каменный генерал-губернаторский дом с некоторыми службами, в соответствии с высочайшим Его Императорского
Величества повелением, объявленным Казенной палате прошлого 1797 года июля 15 дня, сломать, а материалы употребить на строение в Ярославле казарм кадетского корпуса на Большой Московской улице, заплатив за оные в казну деньги из суммы, кои внесут обитатели, а сии деньги обратить
на поправление второго корпуса Присутственных мест для помещения в них губернского правления с прочими присутственными местами, равно и на построение тюрьмы для содержания колодочников". Оставшиеся материалы, которые не нужны были для
строительства, следовало продать с торгов "со всевозможным соблюдением казенной пользы". К 15 сентября 1798 года, уже при губернаторе Николае Ивановиче Аксакове, дворец наместника на Ильинской площади был в основном разобран, но ещё
два года на его месте лежали груды мусора.