В 1798-1802 годах по проекту губернского архитектора Антона Крылова к юго-восточному фасаду Знаменской башни был пристроен двухэтажный каменный дом графа И. П. Салтыкова.
САЛТЫКОВ Иван Петрович (28.06.1730, Москва – 14.11.1805, Ярослав. имение) – военачальник, генерал-фельдмаршал (1796), граф. С 15-летнего возраста служил в гвардии, перешёл на службу к царскому двору и пожалован в камер-юнкеры.
Во время Семилетней войны находился в действующей армии, в 1758 году участвовал в занятии Кёнигсберга и взятии Эльбинга, сражался при Цорндорфе, в боях показал храбрость и мужество. Бригадир (1760), генерал-майор (с 1761),
генерал-поручик (с 1766). Отличился в Русско-турецкой войне 1768–74гг. В 1769, командуя группой кавалерийских полков, в районе р. Десна разгромил войско крымских татар. В 1773–1774 годах командовал группой войск и одержал ряд побед над
турецкими войсками на Дунае. Был возведён в чин генерал-аншефа. В 1784–1788 годах в чине генерал-адъютанта служил генерал-губернатором Владимирского и Костромского наместничеств. Участвовал в Русско-турецкой войне 1787–1791гг.
В 1789 году во главе кубанской дивизии участвовал в боевых действиях на Кавказе. В 1790 году назначен главнокомандующим финляндской армией, действовавшей против шведов. При Павле I назначен Киевским губернатором и инспектором кавалерии,
в декабре 1796 – генерал-инспектором над всей кавалерией с подчинением ему украинской армии. С конца 1797 до 1804 года генерал-губернатор в Москве. От отца унаследовал Порецкую вотчину и Ярославское имение.
В начале XIX века граф продаёт дом своему крепостному крестьянину Семёну Соболеву.

Граф Салтыков Иван Петрович. Миниатюра А. Х. Ритта, 1790-е гг.