Особняк был возведён для отставного штаб-ротмистра Ивана Васильевича Пашкова и представляет большой интерес как ранний образец творчества архитектора Гаральда Боссе. Это одно из немногих зданий, дошедших до наших дней практически без изменений — как снаружи, так и в интерьере. Архитектура особняка выполнена в переходном стиле, сочетающем классицизм, неоренессанс и элементы греческой тематики.
Выразительный фасад украшен так называемым «греческим портиком» и кариатидными фигурами, поддерживающими балкон второго этажа. Эти скульптуры особенно ярко передают образ античности и считаются характерной чертой здания, которую архитектуроведы называют «визитной карточкой» Боссе.
С течением времени здание сменило нескольких владельцев и арендаторов. Оно использовалось, в частности, Благородным танцевальным собранием, а в 1857 году было выкуплено казной для нужд Департамента уделов. С начала XX века вестибюль украшают две гипсовые фигуры в натуральную величину — «Зубр шагающий» (скульптор Р. Р. Бах) и «Зубр мычащий» (скульптор Г. Р. Залеман).