На месте срытых валов между Власьевской (совр. — Знаменская башня) и Угличской (северо-западная башня Спасо-Преображенского монастыря)
башнями в конце XVIII — начале XIX веков возник так называемый самострой, характеризовавшийся отнюдь не первоклассными торговыми постройками, резко
ухудшивший восприятие одной из главных площадей города. В связи с этим Городской думой было принято решение о возведении нового Гостиного двора взамен
старого, уже пришедшего в негодность.
В 1813 году было принято постановление Думы: «В здешнем городе нет, особенно для торгующих, как здешних горожан, так и приезжих торговцев,
Гостиного двора. Тогда как торговля и промышленность усиленно развивались, число торгующих умножилось, почему с недостатком лавок открылись неудобства».
Позднее в «Ярославских губернских ведомостях» так описывалось начало этого строительства: «заложили прекрасный Гостиный двор, простирающийся в длину по
лицевому фасаду к старому Гостиному двору на 124 сажени (около 250 м), а против линии постоялых дворов (на месте совр. ул. Комсомольской) на 116 саженей
(около 230 м), имеющий в себе 155 лавочных номеров и окруженный со всех сторон широкою галереей с колоннами ионического ордера», очень распространенного
в то время как в столице, так и в провинции.