У слова «потихоньку» целых три значения, что большая редкость для наречий. И какие значения! «Потихоньку» — это и «тихо, бесшумно», и «медленно, не спеша», и «тайком, незаметно». В общем, полная свобода действий, например, с той же «калиткой» из романса. Но если семантика вопросов не вызывает, то с орфографией всё не настолько безоблачно. Почему мы пишем «потихоньку», а не «по-тихоньку»? Откуда такой вопрос? Дефисное написание наречия «по-тихоньку» встречается, к сожалению, слишком часто. Скорее всего, ошибка возникает из-за аналогии с другим наречием — «по-тихому»...

Дорогие друзья, есть прекрасный любовный романс Александра Обухова под названием "Калитка" и там в припеве такие слова: Отвори потихоньку калитку               И войди в тихий садик, как тень. Не забудь потемнее накидку, Кружева на головку надень. В романсе речь идет о тайном ночном свидании влюбленной парочки в тенистом саду и о мерах конспирации. На картинке ниже, это как бы юморное развитие событий из старинного романса, много лет спустя...