Возникла не позднее 2-й половины XIX века.
До революции 1917 года состояла из двух частей: часть улицы от старого русла Казанки до нынешней улицы Урицкого носила название Поперечно-Адмиралтейская улица; оставшаяся часть называлась Малой Кузнецкой улицей.
2 ноября 1927 года они были объединены в Мало-Московскую улицу.