Дом в основе имеет строение XVIII века. В 1780-е годы дом принадлежал богатому купцу из города Торопца Кузьме Дмитриевичу Дудышкину. После его смерти дом остался его вдове, которая вторым браком вышла замуж за генерала Кемпена.
После пожара в 1812 году новые владельцы надстроили дом на два этажа. В 1882 году здание выкупила фирма "Наследники И.А. Бакастова", известная тем, что занималась трактирным бизнесом. Бакастовы покупали дома в разных районах Москвы и открывали там трактиры. Расположение дома на углу пересечения двух крупных улиц сулило большую доходность и в 1910 году на первом этаже здания открылось трактирное помещение, которое стал снимать в аренду купец Романов. Он вёл дело до самой революции и до 1917 года считался одним из самых известных трактиров в Москве.
В период Октябрьской революции трактир стал одним из основных памятных мест на последующие годы. 15 октября 1917 года в нём обосновался Комитет Городского района и Районный Совет рабочих депутатов.
В Городской район тогда входила центральная часть Москвы — с Городской думой, градоначальством, почтамтом, телеграфом, телефонной станцией и другими важнейшими стратегическими пунктами. Исходя из-за своего положения трактир Романова стал стратегически важным пунктом, где собирались рабочие отряды и концентрировалась вся информация о происходящем в городе. Отряды революционных рабочих и солдат, сформированные в здании, участвовали в активных боях в центре города.
26 октября 1917 года в трактире Романова проходило заседание Московского комитета на котором было принято решение о вооружённом восстании.
После революции в здании находились райкомы партии, комсомола и райсовет. В память о происходящих событиях в 1920-х годах была установлена мемориальная доска с надписью на ней: "Здесь в 1917 г. находились Военно-революционный комитет и штаб Красной гвардии Городского района". В 1930-е года она доска пропала и была восстановлена к 60-летию Октябрьской революции в 1977 году. Архитектором новой мемориальной доски стал - В.А. Бутузов.