Бертон родился в графстве Уиклоу, хотя его семья, никогда там не жила. Родовое поместье его отца, Сэмюэля Фредерика Бертона, Клифден-Хаус, нахоодилось недалеко от Корофина, в графстве Клэр. Похоже, его отец и мать Ханна Маллет никогда не жили вместе...
Чарльз Бертон родился в 1845 году в городе Грейт-Ярмут, графство Норфолк. Был старшим сыном Чарльза и Элизабет Барбер, имел двух братьев — Фрэнка и Артура.