Смысл потенциальной энергии заключен в самом слове - потенциал, возможность. Камень лежащий на земле не способен к движению, его потенциальная энергия равна нулю. Тот же камень поднятый над землёй обрел возможность к движению, стал обладать потенциальной энергией. После того как Вы отпустили камень произошло преобразование потенциальной энергии в кинетическую. Наше мышление, деформированное образованием, навязчиво предлагает модели оценки потенциальной энергии через движение выпущенного из руки камня...

Отвечаю на вопрос в комментариях. Точнее, не вопрос, а неверное заявление: что камень, брошенный вертикально вверх, обязательно упадет на землю. Ограничимся механикой Ньютона (поправки ОТО в случае с Землей малы и по сути картины не меняют). Так вот, дело в следующем: гравитационное поле Земли потенциальное! Это означает, что работа в этом поле вдоль кривой не зависит от этой кривой, а только от положения ее начала и конца. И равна эта работа разности потенциалов на концах кривой, или изменению потенциальной энергии...