В марте 1846 года ярославское купечество выразило желание учредить детский приют для содержания и обучения малолетних детей беднейших родителей из мещанского сословия. Городской голова А. М. Пастухов первый
выразил желание, кроме единовременного денежного пожертвования, принять на своё двухгодичное содержание в приют 20 воспитанников. Его супруга, третья жена Елена Яковлевна, безвозмездно предоставила квартиру для приюта в
своем доме на 2 года. Губернатор ходатайствовал перед Правительством об открытии в Ярославле нового заведения. На учреждение приюта было обращено внимание государыни императрицы и её дочери, великой княгини Ольги Николаевны,
соизволившей присвоить приюту свое имя. Ольгинский детский приют был торжественно открыт 22 октября 1846 года, первых воспитанников насчитывалось 33 человека.
В 1848 году «за особое усердие к устройству приюта» А. М. Пастухов был Всемилостивейше награждён золотой медалью на Андреевской ленте.
В 1857 году было приобретено новое здание Ольгинского детского приюта на 45 человек (совр. проспект Октября, 11). Ярославские купцы Н. А. Друженков и К. М. Огнянов обязались
ежегодно вносить по 1 200 рублей на две стипендии для двух девочек приюта; а купец А. А. Топыньков обещал вносить по 2 000 рублей ежегодно на стипендии для мальчиков.
Ольгинский детский приют просуществовал в Ярославле до 1917 года.