После революции в этом здании базировался Дворец труда, где в 1927 году А. Фадеев впервые читал молодым пролетарским писателям фрагменты своего
нового романа «Разгром». Хотя роман рассказывает о событиях на Дальнем Востоке, над его последними главами Фадеев, живший в 1926–1928 годах в Ярославле,
работал в номере гостиницы «Бристоль».
В 1930-х. годах здесь располагались средняя школа №4, педагогический техникум, художественное училище, совпартшкола и даже детский сад для детей учителей.
В 1939 году по решению Ярославского горисполкома здание было передано Ярославской пионерии, после чего последовал его капитальный ремонт и
перестройка. 30 апреля 1941 года Дворец пионеров и школьников был торжественно открыт.