Первая шлифовальная бумага появилась еще в древнем Китае, когда измельченные раковины, семена и песок использовались для создания абразивного материала, который приклеивался к пергаменту и использовался для шлифовки металлических или деревянных поверхностей. Некоторые народы также использовали акулью кожу в качестве шлифовальной подложки.
В 1833 году англичанин Джон Океи создал прототип наждачной бумаги, добавив измельченное стекло на пергамент. Классическая "наждачка" была запатентована в США 14 июня 1834 года Исааком Фишером-младшим, который использовал карбид кремния или оксид алюминия в качестве абразивов, то есть мелких камушков, идеально подходящих для обработки различных поверхностей.
Промышленное производство наждачки началось в 1902 году. Наждачная бумага была усовершенствована, стала водонепроницаемой. С 1916 года ее стали применять для полировки автомобилей.
Известны случаи и нетрадиционного, очень творческого использования наждачной бумаги. Испанский художник Хуан Миро рисовал на ней свои картины. А в «Балете Наждачной бумаги» М.Морриса она использовалась в качестве музыкального инструмента.