В 1814 году генерал-лейтенант А.У. Болотников начал строительство трёхэтажного дома на набережной, который в 1816 году продал князю Ф.С. Голицину. Семья Голицыных проживала в этом доме до 1825 года.
Затем особняк перешёл во владение князя В.С. Трубецкого — участника Отечественной войны 1812 года. В доме Трубецких нередко устраивались балы, на которых бывали представители высшего света - сам император Николай I и поэт Александр Пушкин, что подтверждается записью в его дневнике от 26 января 1834 года.
После смерти Трубецкого, его наследники продали дом, и в 1842–1843 годах он был перестроен архитектором Г.Э. Боссе для генерал-майора А.В. Пашкова. Архитектура здания сочетает элементы ренессанса и позднего классицизма, а хозяйкой дома считалась супруга Пашкова — Е.П. Пашкова. В 1892 году особняк приобрёл граф Монтебелло для размещения Французского посольства и с шиком оформил его интерьеры.