Дом Варакина — историческое здание, относящееся к числу старейших построек города. Особняк впервые отмечен на плане 1781 года, а исследователи датируют его строительство 1770-ми годами. В конце XVIII века дом принадлежал купцу первой гильдии Ивану Алексеевичу Шапкину и его супруге Наталье, а затем переходил к разным владельцам, среди которых были представители купеческих династий. С конца XIX века и до революции 1917 года домом владел Фёдор Александрович Варакин, известный вологодский купец, занимавшийся речными перевозками, владелец пароходов, кирпичного и маслобойного заводов. В архитектуре здания прослеживаются элементы барочного декора, хотя архивных подтверждений этому нет. В ходе реставрационных работ были обнаружены уникальные документы эпохи Варакина, а также интересные инженерные решения, такие как деревянная дренажная труба для отвода воды. Дом включён в список памятников регионального значения с 1960 года. В семье Варакиных родился Иван Иванович Варакин, впоследствии ставший известным художником-графиком и архитектором.