Изначально в первом здании, построенном по проекту Н.Ф. Гербеля в 1720-1723 гг., располагались конюшни, жильё для служителей и сараи.
Строительство продолжалось до 1734 г., при участии М.Г. Земцова. В 1816 г. В.П. Стасов был назначен строителем главных конюшен, он же и разработал проект их перестройки. Реконструкция проводилась с 1817 г. по 1823 г., при этом было решено использовать прежние стены.
На втором этаже были размещены квартиры чиновников, а на первом этаже были мастерские. В 1865 г. здание снова подверглось реконструкции, на этот раз по проекту Г.Ф. Гросса. В 1917 г. в здании конюшен была расквартирована 4-я рота Павловского полка.
Реставрация здания проводилась в 1948-1951 гг..