Эдмунд де ла Поль родился не в самое благополучное время в семье королей Эдуарда IV и Ричарда III, будучи их родным племянником. Его брат Джон, сам потенциальный претендент на английский престол, сражался против Генриха VII бок о бок с Ричардом III при Босуорте, но изменил ему, когда битва закончилась и победителем оказался не он. Джон, по-видимому, не оставил своих надежд на хороший кусок власти и примкнул к Генриху VII Тюдору, позже присоединился к восстанию самозванца Ламберта Симнела, которое было подавлено, и в 1487 году сложил голову на бранном поле. Это означало, что 15-летний Эдмунд де ла Поль внезапно оказался главой семьи Йорков, что, к несчастью для него, сделало его самой большой угрозой для Генриха VII. В тот период Генрих VII решил оставить Эдмунду герцогство, которым владел его брат до своей смерти, а также титул графа Саффолка. Понимая опасность, нависшую над ним, в 1501 году Эдмунд решил не оставаться в Англии и бежал в континентальную Европу, после чего Генрих Тюдор