Под руководством вице-адмирала Клокачёва в июне 1783 года на месте нынешней Графской пристани была возведена одна из первых построек – деревянная пристань.
К приезду Екатерины II пристань благоустроили и назвали «Екатерининская». Позже её переименовали на «Графскую» по утверждению графа Войновича.
В 1830-х годах главный командир ЧФ Михаил Лазарев рапортует о необходимости улучшить пристань и построить каменный трап. Разработкой проекта занялся английский инженер-полковник Джон Уптон. В 1838 году документация была завершена. Её предоставили на суд императору Николаю I. Утвердили всё, кроме колоннадной галереи. Но адмирал не оставил эту идею и запрашивал всё-таки обустроить её на пристани. Только через 6 лет он получил положительное заключение.
В 1846 году новая пристань была завершена и стала парадным входом Севастополя.
В боковых конструкциях самой Графской пристани были сделаны 4 ниши для мраморных скульптур итальянского скульптора Фернандо Пелличиа. Изначально они были окрашены краской вишнёвого оттенка, чтобы подчеркнуть красоту монументов.
А у основания лестницы по бокам находится ещё одна визитная карточка Города-Героя - фигуры львов, выполненные также итальянцем Пелличиа.
Во время Крымской войны пристань серьёзно пострадала. Именно с неё проходило снабжение боеприпасами и продовольствием бастионов, поддерживалась связь с Северной стороной. После Первой обороны пристань восстановили.
22 ноября 1853 года на Графскую пристань сошёл с боевого корабля адмирал Нахимов. До этого (за 4 дня) было выиграно Синопсисе сражение.
В 1944 году историческое место было повреждено прямыми и осколочными попаданиями бомб. Но уже 9 мая на колоннаде Графской пристани был водружён флаг Военно-морского флота СССР.