Здание реального училища состоит из двух корпусов. Более старый, обращенный на улицу Никольскую (К. Маркса), построен в начале XIX века на усадьбе Заварицких. В 1870 году он был куплен для городской думы и управы, а 8 февраля 1880 года передан под размещение шестиклассного реального училища, которое открылось в нем 1 июля 1882 года в составе двух первых классов. В 1918 году реальное училище было реорганизовано в 21-ю единую трудовую школу, которая за свою 80-летнюю историю неоднократно меняла название, став, наконец, средней школой №4.
Старую часть здания долгое время занимал областной отдел народного образования и институт усовершенствования учителей.
Это учебное заведение в разное время окончили писатели В.П. Ставский (Кирпичников), некоторое время после смерти М. Горького занимавший пост секретаря Союза писателей СССР, и В.Н. Астров; доктор физико-математических наук К.А. Путилов — автор учебников по физике; член-корреспондент Академии педагогических наук СССР, доктор химических наук Ю.В. Ходаков — автор учебников по химии; вице-адмирал, доктор технических наук А.Е. Брыкин; профессор ВГИКа кинооператор Л.В. Косматов; министр здравоохранения СССР, академик С.В. Курашов и другие.