Двухэтажное кирпичное угловое здание было заложено 9 июня 1856 года купцом Алексеем Николаевичем Перелыгиным. В 1864–1883 годах в нём размещался Городской общественный банк. В 1887 году дом перешёл во владение к инженер-капитану В.С. Шиловскому.
В 1896–1914 годах в доме был штаб 51-го драгунского (с 1909 года — 17-го гусарского) Черниговского полка. Его шефами были: сестра императрицы, Великая княгиня Елизавета Федоровна (1864-1918), причисленная после смерти к лику Святых и в 1909-11 годах брат императора, Великий князь Михаил Александрович (1878-1918). Оба не раз посещали Орёл.
После 1914 года в доме размещалась Орловская конвойная команда, во время гражданской войны – госпиталь, затем пекарня. В 1944–1957 годах в здании был педагогический институт, затем — жильё. С 1991 года по проекту архитектора О.А. Кокалевского началась его реконструкция с реставрацией отдельных декоративных элементов. В последние годы в здании размещаются банки, магазины.