Пребывающий ныне в состоянии руин дом был построен в 1818 году при внуках Яковлева — Иване, Григории и Савве Михайловичах. Все строительные и отделочные работы выполнили два подрядчика: крестьяне вотчины князя Александра
Александровича Черкасского Фёдор Григорьевич Бебенин из деревни Семеновской Ярославского уезда и Арефий Абрамов (вернее, Арефий Абрамович — у него не было фамилии) из села Медягина, с артелью из 30 мастеров. За свои труды они
получили 7 725 рублей.
Главной проблемой при строительстве была почва: местность мануфактуры расположена в болотистой низине, в которой скапливаются стекающие с Крестовой горы воды, поэтому при основании фабрики в 1720-е гг. в первую очередь
были вырыты пруды, служившие сугубо утилитарной цели — осушению местности.
Дом предназначался для представительских целей. Первым высоким гостем в новом господском доме мог быть император Александр I, посетивший Ярославль в августе 1823 года — 22 числа он осматривал крупнейшие городские фабрики,
в том числе мануфактуру Яковлевых. В ноябре 1831 года Большую мануфактуру посещали приехавший погостить на родину принц Петр Георгиевич Ольденбургский, а несколько дней спустя после него — император Николай I.
18 июля 1845 года — сгорели корпуса мануфактуры на Которосли, в которых изготавливалась писчая бумага, что катастрофическим образом сказалось на положении огромного количества жителей Закоторосльной части города. В 1846 году
Яковлевы выставили мануфактуру на продажу. В это время на фабрике работало всего 60 человек. Продажа, замедлявшаяся из-за склок между владельцами, случилась только 10 лет спустя — 27 апреля 1857 года Ярославскую Большую мануфактуру
со всем имуществом и землей (общей площадью 74 десятины 1810 квадратных сажен — почти 81,5 га) за 85 000 рублей серебром купил московский купец 1-й гильдии Иван Андреевич Карзинкин. Вскоре И. А. Карзинкин со своими деловыми
партнерами — Андреем Александровичем Карзинкиным же и Гавриилом Матвеевичем Игумновым — учредил «Товарищество Ярославской Большой мануфактуры бумажных изделий», которому и стали принадлежать все бывшие земли Яковлевых.
В 1858-1859 годах дом был использован для хранения архивных материалов бывшей мануфактуры Затрапезновых-Яковлевых. До середины 80-ых годов XIX века здание пустовало. Во второй половине 80-ых годов XIX века дом становится
летней дачей , директора ЯБМ, при даче: конюшня, оранжерея с квартирой садовника, сарай, баня с прачечной.
Фрагмент плана земель ЯБМ составил младший землемер Маслеников, 15 ноября 1846 года
Стрелкой обозначен дом Яковлевых