Флигель городской усадьбы И.И. Барышникова является частью исторического ансамбля, сформированного в конце XVIII — начале XIX века. В 1792 году имение приобрёл Иван Иванович Барышников, который заказал проект дома известному архитектору Матвею Казакову. В состав усадьбы входили палаты с флигелями, а также хозяйственные корпуса, размещённые по периметру участка. К 1802 году строительство было завершено, и флигели стали неотъемлемой частью архитектурного комплекса, сохранившего элементы палат XVII века. Иван Иванович Барышников был известен как коллекционер и просвещённый меценат, что отразилось на художественном облике его владений.