Первоначально на месте нынешнего Каменного моста в 1752 году была сооружена в деревянная свайная переправа, соединяющая Казанский и Спасский острова через Екатерининский канал (канал Грибоедова).
Мост, который мы знаем сейчас, возводили почти десять лет и открыли в 1776 году. Его длина 19,7 метра и ширина 15,08 метров. Автор проекта инженер В. И. Назимов. Своё название мост получил не столько в честь строительного материала, сколько потому, что он был одним из первых каменных мостов Санкт-Петербурга.
Свод моста выложен из гранита, добытого в выборгской каменоломне, устои — из бутовой плиты. Облицовка представлена гладкими гранитными блоками, чередующимися с блоками в форме четырехгранных пирамид. Данный метод обработки называется «бриллиантовый руст»: выступающие грани, будучи отполированными, ярко сверкают на солнце и отражаются в воде, напоминая ограненные алмазы.
В 1880 году Каменный мост подвергся серьёзной опасности. Террористы из общества «Народная воля», готовя очередное покушение на императора Александра II, заложили под мостом динамит. Однако то покушение так и не было осуществлено, народовольцы не были уверены в том, что взрывчатки действительно хватит для обрушения крепкого моста. По другой версии, покушение не состоялось, так как один из заговорщиков, не имея часов, опоздал ко времени проезда императора по Каменному мосту.
Так или иначе, семь пудов динамита, скрытые в четырёх гуттаперчевых подушках, остались под мостом. Они были извлечены со дна канала через год – в начале лета 1881 года, уже после гибели Александра II, во время следствия по «делу шестнадцати». Всё это время Петербуржцы пересекали мост, не подозревая о смертельной опасности.
В начале XX века крутой подъем на Каменный мост оказался сложным препятствием для первых петербургских автобусов. Их тяга была слишком мала, чтобы преодолеть крутой подъем. По свидетельствам очевидцев, в часы пик кондукторам приходилось высаживать пассажиров перед мостом, они переходили переправу пешком, а автобус переезжал налегке. Потом пассажиры вновь занимали свои места, и автобус следовал дальше по Гороховой улице.
Еще один интересный факт касается металлической стойки-указателя. После блокады Ленинграда такая стойка сохранилась только на Каменном мосту. И в 1948 году руководство города решило восстановить таблички на всех мостах. Специально для этого был разработан особенный «ленинградский» шрифт и единый стиль оформления, основанный на единственном сохранившемся образце.