История Военного училища на Красноказарменной улице, так называемых Красных казарм, неразрывно связана с историей дворцово-паркового ансамбля «Лефортово», формировавшегося в течение всего ХVIII – начала ХIХ в. Огромная территория осваивалась постепенно. Новые дворцы и служебные постройки сначала были деревянными, на протяжении столетия они ветшали, их вновь возводили в кирпиче и в более масштабных формах. Недалеко от усадеб еще при Петре I организовали большой регулярный парк с прудами, получивший название Анненгофская роща. В результате до нашего времени дошел уникальный ансамбль, который по масштабу и архитектурной значимости является единственной в Москве царской жилой усадьбой, аналогичной пригородам Санкт-Петербурга.
Центральным ядром ансамбля стал Большой Екатерининский дворец, возведенный архитектором Дж. Кваренги при участии А. Ринальди и Дж. Компорези на месте летнего деревянного Анненгофского дворца, созданного по проекту Б.-Ф. Растрелли (ныне – Краснокурсантский пр-д, д. 5).