Дом в глубине двора за каменной оградой с цоколем, с массивными столбами ворот и кованой решеткой можно считать смысловым центром переулка. В 1714 г. этот участок земли, тогда еще в Казенном переулке, привлек внимание истопника Петра I Алексея Яковлевича Милютина. В 1690 г. Милютин стал придворным комнатным истопником при царе Иоанне Алексеевиче и царице Прасковье Федоровне и по наследству перешел к Петру I.
Алексей Яковлевич построил здесь свой дом и фабрику, производившую шелковые, парчовые и позументные ткани. С энтузиазмом принявшись за развитие шелковой фабрики, для технического руководства он нанял лучших мастеров — как по обработке шелка-сырца, так и по художественному ткачеству. Прикрепив к ним учеников, он позаботился о воспитании собственных специалистов. В конце XVIII в. это была самая старая и самая большая мануфактура в Москве: небольшое деревянное строение постепенно было перестроено в камне и обросло многочисленными каменными же домами различного назначения. Наследники на этом не остановились, создав в переулке своего рода небольшую Милютинскую империю и дав переулку свое имя. Империю постигла та же участь, что и все империи: она рухнула и была распродана по частям.
Источник: Узнай Москву