Род Поттеров очень старый, но (до рождения Гарри Джеймса Поттера) никогда не был важной частью истории волшебного мира и довольствовался тихим и мирным существованием в безвестной глуши.
Фамилия «Поттер» — далеко не редкая маггловская фамилия, поэтому она не была включена в список чистокровных семей, получивший название «Священные двадцать восемь»; анонимный составитель этого якобы точного и окончательного списка подозревал, что Поттеры произошли от тех, у кого, по его мнению, была испорчена кровь. Тем не менее, волшебная семья Поттеров имеет прославленные корни, на это есть намеки в «Дарах смерти».
В мире магглов «Поттер» — это профессиональная фамилия, означающая человека, который создает гончарные изделия или керамику. Семья Поттеров происходит от волшебника двенадцатого века Линфреда из Стинчкомба, любимого селянами и очень активного мужчины, которого называли «Поттерер», что позже сократилось до «Поттер». Линфред был странным и чудаковатым человеком, и его соседи-магглы часто обращались к нему за лечебной помощью. Никто из них и не подозревал, что его чудодейственные лекарства от оспы и лихорадки были волшебными; все считали его безобидным и милым стариком, занимающимся в своем саду забавными растениями. Его репутация добропорядочного чудака сослужила Линфреду хорошую службу, и за закрытыми дверями он мог спокойно продолжать свои опыты, что и заложило основу процветания семьи Поттеров. Историки приписывают Линфреду создание ряда лекарств, которые позже превратились в зелья, использующиеся и по сей день, в том числе Костерост и Бодроперцовое зелье. Продажа таких лекарств знакомым волшебникам и волшебницам позволила ему оставить существенные средства своим семи детям после смерти.
Старший сын Линфреда, Хардвин, женился на прекрасной молодой волшебнице Иоланте Певерелл из деревни Годрикова долина. Она была внучкой Игнотуса Певерелла. Из-за отсутствия наследников мужского пола, будучи старшей в своем поколении, она унаследовала мантию-невидимку своего дедушки. Иоланта объяснила мужу, что обладание этой мантией в ее семье хранится в секрете, и он должен уважать эту традицию. С тех пор мантия-невидимка передавалась из поколения в поколение.
Поттеры продолжали жениться на своих соседях, в том числе и магглах, и жить на западе Англии. Так продолжалось в течение нескольких поколений, каждое из которых пополняло семейную казну благодаря усердному труду и изобретательности, присущей их предку Линфреду.
Временами Поттеры появлялись в Лондоне, дважды члены их семьи заседали в Визенгамоте: Релстон Поттер, член суда с 1612 по 1652, был ярым сторонником Статуса о секретности (в отличие от множества воинственных заседателей, желающих объявить войну магглам) и Генри Поттер (близкий родственник Гарри) — прямой потомок Хардвина и Иоланты, был членом Визенгамота с 1913 по 1921. Генри вызвал незначительный переполох, когда публично осудил действующего тогда Министра Магии Арчера Эвермонда за то, что он запретил магическому сообществу помогать магглам вести Первую мировую войну. Его прямота и откровенность от лица магического сообщества также сильно поспособствовала исключению Поттеров из списка чистокровных волшебников «Священные двадцать восемь».
Сына Генри звали Флимонт Поттер. Его назвали именно так из-за предсмертного желания матери Генри: она хотела увековечить свою девичью фамилию, которая в противном случае просто навсегда бы исчезла. Бремя, связанное с его именем, он нес на удивление хорошо; действительно, он всегда проявлял свою ловкость на дуэлях в Хогвартсе, когда ему приходилось сражаться с людьми после издевательств над тем, как его зовут. Именно Флимонт учетверил золото в семейной казне, создав известное волшебное Снадобье «Простоблеск» («две капли укротят даже самую непослушную копну волос»). Отойдя от дел, он продал компанию с огромной прибылью, но никакие богатства не могли компенсировать ему и его жене Евфимии отсутствие у них детей. Они уже и не надеялись на сына или дочь, когда к их удивлению Евфимия обнаружила, что беременна, после чего родился мальчик, их любимый Джеймс.
Флимонт и Евфимия дожили до того дня, когда Джеймс женился на магглорожденной девушке Лили Эванс, но так и не увидели своего внука Гарри. Драконья оспа унесла их жизни из-за их преклонного возраста с разницей в несколько дней. Так Джеймс Поттер унаследовал мантию-невидимку Игнотуса Певерелла.