В 1742 г. владение принадлежало И.И. Вельяминову-Зернову — представителю старинного боярского рода. При нем на участке были возведены каменные палаты, позже вошедшие в объем современного здания. В 1780-е гг. владельцем стал генерал-аншеф князь В.М. Долгоруков-Крымский, а позже — его зять князь Г.Г. Гагарин — художник, вице-президент Императорского Археологического общества и Императорской Академии художеств. С тех пор и до революции Гагарины и оставались хозяевами этого владения.
Здание пострадало в пожаре 1812 г. и через пять лет было перестроено. В то время это был усадебный комплекс, состоящий из главного дома в глубине двора и двух флигелей, соединенных чугунной оградой с воротами по красной линии Кузнецкого.