Селби родился Ференц Салусински 12 января 1918 года в Будапеште, Венгрия, в то время, когда его отец Имре был известным журналистом в Pesti Naplót - первой венгерской газете с фотографиями.
Когда Фрэнк вырос, группа газет. Последующие новые заголовки и разговоры о завтраке на дому доминировали цифры обращения.
Начав заниматься юриспруденцией в Будапештском университете, в 1936 году Фрэнк поступил в Колледж Фитцвиллиама в Кембридже, чтобы прочитать «Экономика». Через год он вернулся в Венгрию, чтобы получить свой первый юридический экзамен, но его семья решила, что он должен изучать французский язык и отправил его на курс в Лозанну.
Находя Лозанну «одно из самых скучных мест на земле», он убедил своих родителей разрешить ему присоединиться к своему старшему брату в Париже, прибыв туда в начале 1938 года, и нашел французскую столицу гораздо более дружелюбной.
Через пять месяцев он вернулся в Венгрию, чтобы сдать экзамен на второй год и воспользовался возможностью для изучения фотографии.
Под нацистским давлением его отец, который происходил от польских евреев, был вынужден отказаться от своей должности главного редактора газетной группы Az Est.
В январе 1939 года Фрэнк отправился в Англию, намереваясь работать фотожурналистом. Однажды в Лондоне он некоторое время работал на задании на Picture Post, но, будучи иностранцем в военное время, вскоре был вынужден отказаться от этой профессии.
К февралю 1941 года Фрэнк почувствовал, что война тоже была его войной, хотя Венгрия все еще была нейтральной страной, и он присоединился к пионерскому корпусу британской армии. Примерно в это же время он подкрепил свое имя, Ференц легко переносил «Фрэнка» и «Салусинский» в Селби.
Поставляется с фалангой эмигрантской европейской интеллигенции - среди компании Frank's 251 были Артур Кестлер и член знаменитой (бельгийской) группы музыкантов Гуссенса - армия поставила их в легкие инженерные обязанности, построив уборные, защиту от мешков с песком и построив танковые ловушки на ферме Beckenham, Cheltenham (позже сайт GCHQ).
Затем компания была переведена в Bicester для создания жировых ловушек и еще большего количества уборных, но этот шаг был случайным: Лондон был легко доступен, и с одного визита в июне 1942 года он встретил 17-летнюю Элизабет Гуттманн, которая работала на Free French в штаб-квартире Сент-Джеймс.
Элизабет родилась в Берлине, ее родительском еврейско-венгерском языке, как и у Селби (его предки были сапожниками, которые эмигрировали в Венгрию из Польши в 19 веке).
Ее отец, Генрих Гуттманн, был выдающимся писателем по промышленным ресурсам с личным интересом к истории фотографии. Семья переехала в Париж через несколько месяцев после рождения Элизабет, и она провела первые шесть лет своей жизни там.
К 1931 году ее отец мог видеть, что происходит в Европе, и в конечном итоге прибыл в Великобританию в 1934 году после того, как в Швейцарии и Бельгии.
Селби женился на Элизабет Гуттманн в 1948 году.
Затем они столкнулись с проблемой зарабатывания денег в мрачной послевоенной Британии. Отец Фрэнка пережил войну, но умер в 1946 году, и большинство его оставшихся родственников были заброшены за железным занавесом.