Дом общества врачей построен в конце XVII или начале XVIII века. Отмечен на дорегулярных планах города, имеет характерную для того периода
планировку палатного типа. Автор и строитель неизвестны. От первоначального дома сохранился только подвальный этаж с великолепными сводами, служивший
подклетом. В 1820-х. годах дом был капитально перестроен и получил тот простой и в то же время замечательно красивый фасад в духе русской
классики, который делает этот дом украшением набережной. В XVIII веке в этом доме жил комендант Ярославской крепости, в середине XIX века проживал
ярославский полицмейстер. С 1863 года здание перешло к Обществу врачей, и здесь размещалась частная бесплатная лечебница. В начале XX века с северной
стороны к дому было пристроено помещение родильного отделения.