Построен в начале 1750-х годов, дом принадлежал Штегельману — первому известному владельцу. После его смерти в середине 1760-х здание перешло к Григорию Орлову.
Здание выполнено в стиле раннего петербургского классицизма. Фасад отличается строгой симметрией, уравновешенными формами и деталями, вдохновлёнными римской архитектурой эпохи Возрождения.
В 1771 году был основан Императорский Санкт-Петербургский Воспитательный дом, принимавший сирот и подкидышей. Детей передавали на воспитание в крестьянские семьи, обучали, следили врачи. По достижении 21 года воспитанники получали мещанский статус и пособие.