Дом в Знаменском переулке имеет долгую историю.
В его основе – большие каменные палаты со сводами в первом и втором этажах, построенные не позже 1740-х годов в усадьбе, принадлежавшей тогда князьям Шаховским. Палаты поставлены с некоторым отступом от «красной линии», главный фасад дома с небольшим ризалитом по центру обращен в переулок.
В конце XVIII века рядом был построен флигель, позже объединенный с домом в единое целое. В это время владельцем усадьбы был поручик Алексей Емельянович Столыпин, пензенский предводитель дворянства, приходившийся прадедом поэту М.Ю. Лермонтову.
В 1805 году, при новом хозяине - обер-прокуроре Святейшего Синода князе Василии Алексеевиче Хованском - дом был перестроен, его главный фасад получил новое оформление в классическом стиле – появился фронтон, белокаменные наличники были срублены, фасад оштукатурен, на уровне второго этажа был устроен балкон.