Вскоре после постройки Знаменской башни к ней пристроили деревянную часовню. В 1779 году деревянная часовня была заменена на каменную, но в 1785 генерал-губернатор А. П. Мелыунов распорядился разобрать Знаменскую башню на кирпич, поскольку не хватало материалов для строившегося в городе Дома
призрения ближнего, и "только городской голова Андрей Александрович Барсов с купечеством догадались взамен её (башни) выдать Мелыунову кирпича 15 тысяч". Происходившие далее события так изложены в статье местного автора Ивана Бабанина:
"На столь выгодное предложение губернатор согласился и первоначальное распоряжение пока отменил. Но не прошло и года, как он опять возбудил вопрос о сносе Власьевской башни.
- Не даёт мне покоя эта одинокая башня, - говорил он окружающим. - Прочую ненужную древность давно уже убрал; а вот, поди ж - поддался на улещания суеверных стариков, и бесполезную рухлядь оставил на виду...
И приказал губернатор устранить эту башню.
Однако произошло обстоятельство, которое и в данном случае спасло от разрушения древнюю башню; мало того, свершило такой переворот в её вековом бытии, что потом была она заново отремонтирована, приняв вполне благообразный вид...
Накануне дня, назначенного для разборки башни, жена губернатора вдруг почувствовала себя очень нездоровой. В ночь ей сделалось ещё хуже. А когда на короткое время заснула, то во сне увидела, будто стоит перед тем самым
образом, что нарисован на башне. Отверзлись уста Богоматери и послышался пророческий голос.
- Выздоровеешь тогда, когда оставят нерушимым сей лик мой начертанный...
В ужасе проснулась губернаторша, и начала молить супруга отказаться от своего намерения. Тот обещал. И тотчас же, к общей радости окружающих, больная почувствовала себя лучше, а потом выздоровела совершенно".