Жилой дом у Московских ворот получил своё название от находившихся поблизости триумфальных Московских ворот. V-образное кирпичное здание на углу Московской и Старо-Московской улиц построили в 1850-х годах — и оно сразу стало архитектурной доминантой, встречающей экипажи на въезде в город. Тогда на первом этаже размещались трактир и лавка.
Кирпичный одноэтажный особняк с небольшим двухколонным портиком пристроен к зданию в 1900 году. В 1909–1910 годах трактир, находящийся в доме, использовался местными социал-демократами для своих встреч.
Давшие дому название белокаменные Московские ворота были построены в 1786 году в честь посещения Орла Екатериной II. Есть предание, что когда императрица подъезжала к Московским воротам, то на Ленивце-ручье поставлена была раскрашенная барка, в которой несколько гребцов с криками «Ура!» гребли веслами по песку, а царица бросила гребцам кошелек с золотыми червонцами. Ворота снесли в 1927 году.