До революции на месте этого здания стоял Литовский замок - двухэтажная постройка грязно-зелёного цвета, украшенная круглыми башнями. В народе полагали, что здесь жил литовский князь, отчего замок и стал называться Литовским. На самом деле своим названием замок обязан расквартированному в нём в 1790-е гг. Литовскому мушкетёрскому полку. Автором проекта стал архитектор И.Е. Старов - известный мастер классицизма в 1780-е гг. В 1810-х гг. здесь размещался Морской Гвардейский экипаж.
Позже здесь была устроена городская тюрьма для уголовных и политических преступников.
В 1917 г. Литовский замок был захвачен матросами и рабочими судостроительных предприятий, все заключенные были выпущены. Здание было сожжено.
Современное здание было построено в 1934 г. как экспериментальный дом-коммуна «с обобществлением быта». При проектировании архитекторы опробовали новые планировочные решения.