Название улица получила в честь Алексеевской церкви, возведенной в 1642 году. Церковь освящена в часть наставника Дмитрия Донского, митрополита Алексия и разрушена после революции. В 1931 году получила имя Феликса Дзержинского, в 1991 вернули улице историческое название. Отмечена на генплане города в 1770 году.