Особняк военного министра, также известный как особняк Милютина, представляет собой двухэтажное здание с цокольным этажом и антресолями, построенное в 1872–1874 годах по проекту архитектора Рудольфа Бернгарда. В строительстве принимал участие военный инженер Д. В. Покотилов, а внутреннюю отделку оформлял архитектор О. Г. Гиппиус. Особняк был возведён по инициативе военного министра генерал-фельдмаршала Дмитрия Милютина, который занимал этот пост с 1861 года.
Внутренние помещения здания отличаются изысканным оформлением: лестница расписана в помпейском стиле, зал выполнен в стиле Людовика XV, а дамские гостиные — в стиле Людовика XVI. В комнатах сохранились художественная меблировка и декоративное убранство конца XIX — начала XX века. В особняке использовались голландские печи, камины, мозаичные полы и наборный паркет.
В конце XIX века жилые комнаты были перенесены на второй этаж для обеспечения безопасности семьи министра. Милютин был одним из крупнейших реформаторов русской армии в эпоху Александра II.