Во второй половине XVIII века на месте здания располагалось подворье князей Щербатовых. Усадебный дом в стиле раннего ампира, предположительно построенный по проекту архитектора Осипа Бове, появился на его территории в 1800 году.
В 1816 году здание приобрело военное ведомство для размещения батальонов, занимавшихся ремонтными и строительными работами по благоустройству города. Особняк был переоборудован в казармы. В связи с близким расположением к Петровским воротам Белого города дом получил название «Петровские казармы».