Улица названа Николоямской по находившейся в этой местности с начала XVII века церкви святителя Николая Чудотворца, «что в Ямах». Ее поставили ямщики Рогожской ямской слободы. В 1959 году она была уничтожена. Но этот храм наверняка «помнит» его современник – нынешний главный дом усадьбы Скороспелова.
Краеведы всегда обращали внимание на необычное расположение дома: в глубине двора, боком к красной линии улицы, что уже свидетельствует о древности сооружения. И действительно, в нынешней средней части Главного дома сохранились два помещения рубежа XVII–XVIII веков: белокаменная палата с кирпичным сводом и примыкающие к ней сени с внутристенной лестницей на второй этаж (от последнего сохранились лишь незначительные фрагменты стен).
Так что здание представляет собой «слоеный пирог» строений от XVII в. до XIX в.: каждый новый хозяин вносил свою лепту в архитектурный облик ансамбля.
Существенные перестройки были сделаны в середине XVIII в. богатым купцом С.П.Васильевым – тем самым, на чьи средства была возведена колокольня Андроникова монастыря. При нем к правому торцу дома пристраиваются еще две палаты и, видимо, надстраивается второй этаж. В это время дом был похож на соседний – нынешний № 49: компактный кубический объем с рустованным первым этажом, нарядные барочные наличники и пилястры с резными белокаменными капителями, а также белокаменная межэтажная тяга и тяжелый сложный карниз.