Дом был построен между 1780 и 1795 годом представителем древнего дворянского рода Сергеем Власьевым. Однако, уже
в начале XIX века, дом был продан богатому купеческому роду Матвеевских за крупную по тем временам сумму в 16 000 рублей.
В 1834 году усадьба была продана за долги дворянину Николаю Александровичу Горяинову. Новый владелец в 1837
году устроил в главном здании усадьбы выставку изделий Ярославской губернии – одну из первых в Российской империи.
Согласно описи 1847 года в доме была 41 комната, а под домом – сводчатый подвал. Жилые комнаты обогревались
изразцовыми печами, одна из которых сохранилась до наших дней. В двух комнатах второго этажа находились камины (один из них
также сохранился до нашего времени). Со стороны парадного фасада располагался балкон с железной решеткой. Со стороны
Воскресенской улицы находились ворота на каменных столбах. Внутреннее убранство особняка представляло собой анфиладу
комнат, проходившую через весь второй этаж. Интерьер включал в себя расписные потолки, изразцовые печи, редкие в
провинциальных домах паркетные полы и камины в двух парадных комнатах.
В 1870 году усадьбу купил знаменитый ярославский купец Иван Александрович Вахромеев (1843 – 1908 гг.), известный
всей России как меценат и благотворитель. Во время его пребывания на должности городского головы, в Ярославле был сооружён
водопровод, построена электростанция, запущена трамвайная линия. Благодаря деятельности И.А. Вахромеева дом в народе получил
имя Вахромеевского, которое сохраняется до наших дней.
После 1917 года Вахромеевский дом был конфискован у потомков И. А. Вахромеева и передан под Губернский отдел
народного образования. Затем здание неоднократно передавалось под различные организации. В 1936 году в Вахромеевском доме
расположилась больница, находившаяся в нем до 2006 года.
Дом объявлен памятником архитектуры федерального значения. С декабря 2007 года Вахромеевский дом
занимает Ярославская Духовная Семинария.