Изначально флигель представлял собой часть архитектурного ансамбля, заложенного еще при князе Волконском и состоявшего из большого дома, в котором Толстой родился (этот дом не сохранился), и двух флигелей. В 1859 году в левом флигеле Толстым была открыта школа для крестьянских детей, просуществовавшая до 1862 года. В светлых комнатах второго этажа были устроены классы, на первом стояли гимнастические снаряды. Был в школе и небольшой музей естественной истории.
Позднее здесь останавливались гости. Чаще других здесь жила свояченица писателя, младшая сестра его жены Татьяна Андреевна Кузминская со своей семьей. По ее имени флигель и получил свое название.
В музейное время во Флигеле Кузминских был открыт Литературный музей. С 1990-х годов это здание используется для временных выставок, рассказывающих о деталях личной и творческой жизни писателя и истории его семьи.