Строительство здания велось в начале ХХ века по проекту архитектора Константина Константиновича Лыгина на средства купчихи Натальи Ивановна Орловой. На 1 этаже располагались паровая типография купчихи, редакция газеты "Утро Сибири", библиотека Сибирской железной дороги и три магазина, на 2 этаже - железнодорожная поликлиника, небольшой театр и гостиница с рестораном. На 3 этаже - железнодорожное управление.
В этом же доме жила и сама хозяйка усадьбы.
В годы Великой Отечественной войны в здании работал эвакогоспиталь, а в период 1944-1981 гг. располагался обком КПСС. С 1965 г. первым секретарем Томского обкома КПСС был Егор Кузьмич Лигачев, который руководил областью более 17 лет. В 2022 г. на фасаде здания была размещена мемориальная доска Е.К. Лигачеву - Почетному гражданину Томской области.
С 1982 г. по сегодняшний день в здании располагается Томский областной художественный музей.