Дом №21 по Волжской набережной является южным флигелем бывшего дома губернатора, состоявшего из главного корпуса и двух флигелей.
Усадьба построена в I8I9-I820 годы по проекту ярославского архитектора П. Я. Панькова, впоследствии назначенного губернским архитектором.
Архитектура этого комплекса была выдержана в стиле классицизма. В 60-е годы XIX века усадьба была частично перестроена и получила
оформление в духе эклектики. Также был переоформлен и южный флигель, хотя на его боковых фасадах сохранились фрагменты первоначальной архитектуры.
Северный флигель был разобран, очевидно, в конце XIX - начале XX века. В главном корпусе сейчас размещается художественный музей, в южном флигеле - жилые
квартиры.
В советское время частично изменена планировка дома, заложены некоторые окна, кое-где сбит декор.