До официального описания мегалодона его зубы, называемые "глоссопетрами", принимались за окаменевшие языки змей и драконов. Правильное объяснение предложил в 1667 году датский естествоиспытатель Нильс Стенсен: он узнал в них зубы древних акул. Получило известность сделанное им изображение головы акулы, вооружённой такими зубами. Среди зубов, изображения которых он опубликовал, есть и зубы мегалодона.
Останки мегалодона представлены в палеонтологической летописи лишь зубами и окаменевшими позвонками. Как и у всех акул скелет мегалодона был сформирован из хряща, а не кости, это означает, что большинство ископаемых образцов практически не сохранилось. Останки, достоверно приписываемые мегалодону находят с раннего миоцена до позднего плиоцена 28-2,5 млн лет назад, его останки были обнаружены во всех частях мира - в Европе, Африке, Северной и Южной Америке, в Пуэрто-Рико, Кубе, Ямайке, Канарских островах, Японии, Мальте, Индии, Австралии и Новой Зеландии. Зуб мегалодона был найден даже в районе Марианской впадины, в Тихом океане. Наиболее распространенные окаменелости мегалодона представлены его зубами и характеризуются следующими особенностями: очень большой размер, V-образная форма, мелкие насечки по периметру зуба. Зубы имеют прочную и устойчивую к нагрузкам конструкцию треугольной формы, достигающие 18 см по его граням и являются самыми большими из всех известных видов акул. Самый большой зуб мeгалодона 19 см (7,48 дюйма) был найден в Перу, на втором месте зуб, найденный Вито Бертуччи в Южной Каролине и достигающий 18,4 см. Наиболее ярким примером сохранившихся позвонков, является образец раскопанный в 1926 году, в районе Антверпена, Бельгия. Он состоит из около 150 позвонков, диаметром от 5,5 см - 15,5 см (2,2- 6,1 дюйма). Другие образцы были найдены в Дании в 1983 году, они состояли из 20 позвонков, диаметром от 10 см - 23 см (3,9-9,1 дюйма).