Объект расположен в центральном историко-культурном заповедном районе г. Томска, в историческом районе «Юрточная гора».
Здание построено по проекту Алексея Петровича Деева в 1838 - 1842 гг. для томского золотопромышленника Ивана Дмитриевича Асташева. На первом этаже находилась библиотека и жилые комнаты, на втором – столовая, бальные залы и спальни. В 1859 году рядом со здание построены двухэтажный каменный флигель и кладовые. В восточной части усадьбы располагался роскошный сад, рядом с которым находилась знаменитая Асташевская оранжерея. После смерти владельца здание приобретено Томским духовным ведомством для размещения Архиерейского дома.
В годы советской власти в здании размещался «Музей старины и революции», в настоящее время – Томский областной краеведческий музей и Органный концертный зал Томской филармонии.
На государственную охрану в качестве объекта культурного наследия федерального значения поставлен в 1974 году.