Первоначально участок с деревянным особняком принадлежал Василию Кирилловичу Рубановскому — чиновнику Главной дворцовой канцелярии, ведавшей имениями императорской семьи. Александр Николаевич Радищев был лично знаком и с Василием Кирилловичем, и с его братом, вместе с которым учился в Лейпциге. Впоследствии Радищев женился на дочери Рубановского — Анне, и таким образом унаследовал участок и дом. В 1780-х годах он построил на этом месте новый каменный особняк, во дворе которого разбил сад с прудом.
Как и многие доходные дома того времени, здание использовалось как для проживания, так и для размещения коммерческих помещений. В конце XIX — начале XX века здесь жили архитекторы А. П. Великанов и А. В. Кащенко, а на первом этаже размещались обувная мануфактура, прядильня и известное фотоателье Сергея Алексеевича Соколова.
После Октябрьской революции в здание въехали промышленные предприятия: мыловаренный завод «Арс», консервный завод «Волчек», а также цех по переработке овощей и фруктов артели «Вкуспром».