Дом № 32 по Советской улице возведён в конце XVIII века (отмечен на плане города 1812 года). В середине XIX столетия он был перестроен и получил оформление главного фасада в стиле позднего классицизма.
Вероятно, в это время возведён и мезонин. Автор и строитель неизвестны. По данным календаря Ярославской губернии на 1877 год дом принадлежал купцам Кузнецовым, которые владели им до 1914 года, домовладение перешло к врачу
Бажанову Н. Н., у которого и было национализировано в 1918 году.
В конце XIX - начале XX века со двора к дому была сделана двухэтажная каменная пристройка трапециевидной формы. В 1960-е годы при капитальном ремонте была частично изменена планировка дома, утрачены интерьеры.