Здесь с 1752 года существовала деревянная свайная переправа, именовавшаяся Средним мостом — по названию улицы: нынешняя Гороховая улица в 1730-х –1750-х годах называлась Средняя перcпектива.
Постоянный мост из камня по проекту инженера В.Назимова строился с 1767 по 1776 году.
Изначально мост имел четыре полукруглых лестничных спуска к воде, но на рубеже XIX–XX веков спуски ликвидировали. Тогда же несколько уменьшили крутизну въездов на мост.
Несмотря на то, что в Санкт-Петербурге и по сей день насчитывается несколько каменных мостов, только этот мост через канал Грибоедова стал называться Каменным. Возможно, именно это сооружение стало первым каменным мостом в городе, где до того момента возводились лишь деревянные мосты. А может быть, мост получил свое красноречивое название потому, что в его облике особенно убедительно раскрыта своеобразная красота каменной кладки.