Старый торг, который существовал на этом месте, упоминается в Геометрическом специальном плане от 1778 года. В 1880–1881 гг. на средства князя Сергея Сергеевича Гагарина были построены новые торговые ряды, которые заменили разрушающиеся старые ряды. Эти новые ряды были целым торгово-административным комплексом. Функционально здание было разделено на ряд зон, которые не были связаны между собой, но были объединены одной крышей.
Передняя, западная часть здания, которая выходила на Московское шоссе, была приспособлена для меблированных комнат на втором этаже. Северные и южные торговые лавки были разделены: в южных торговали продуктами, а в северных — не продуктовыми товарами. Внутренний двор был предназначен для разгрузки и хранения товаров, а также для котельной.
Старожилы помнят, что в течение некоторого времени после постройки торговые ряды называли «Рогачи» или «Рогачики». Они до сих пор используются по прямому назначению и представляют собой великолепный образец архитектуры того времени.