В 1879 году это усадебное место принадлежало госпоже Варваре Рязанцевой, а основатель торгового дома Юдаевых, отец семейства Клементий Иванович, снимал дом для своей конторы по соседству. В дальнейшем он, купил у Рязанцевой приглянувшийся особняк, и справочные книги 1904 года уже называют его сыновей Дмитрия и Ивана владельцами. Братья Юдаевы занимались торговой деятельностью. Сферой их интересов была торговля хлебом. Как выяснилось в процессе недавней реставрации особняка, под домом имелись большие сухие подвалы, в которых могли хранить зерно.
Дом Юдаевых отличала красивая фасадная лепнина и не менее роскошное лепное оформление потолков и стен внутри дома. К сожалению, последняя реставрация лишила историческое здание его «изюминки»: вместо старинных лепных деталей появились их современные аналоги. Так же, соответствующий стилю эпохи светлый цвет фасадов, изменили на цвет яркой охры.