Огромный богадельный дом с отделкой в русском стиле начал строить купец Иван Григорьевич Фирсанов. В 1881 году он умер, а дом достроили жена и дочь Фирсанова. По окончанию строительства они подарили дом московскому комитету Братолюбивого общества снабжения неимущих квартирами, и вскоре там был открыт дом для вдов и сирот, названный в честь основателей Фирсановским.
Часть помещений была отдана под первую в Москве школу для слепых детей.
Здание было трехэтажным, позже его надстроили еще на два этажа.