Познакомились родители Джеральда на строительстве канала в Рурки, где дед по матери работал клерком и бухгалтером, а отец Лоуренс Сэмюэль Даррелл был обычным студентом в возрасте 25 лет. В ноябре 1910 года Луиза и Лоуренс поженились. Джерри был четвертым выжившим, и последним ребенком. У него было два брата: Лоуренс Джордж и Лесли Стюарт, а так же сестра Маргарет Изабель Мабель. Отец Даррелла был британским инженером, и как и подобало семейному положению, юный Даррелл проводил большую часть своего времени в компании няни, и виделся с отцом не чаще 2-х раз в день. Сообщается, что Даррелл вспоминает свой первый визит в зоопарк в Индии, и приписывает свою пожизненную любовь к животным этой встрече. Поэтому неудивительно, что первым словом которое сказал маленький Джерри стало слово «зоопарк». Хотя данное утверждение весьма сомнительно. Первый свой зоопарк юный Джеральд посетил в городе располагался в Лахоре, Куда семья Даррелов переехала в конце 1926 года. Сэмюэль Даррелл подписал новый контракт на работу, и семейство поселилось в новом доме на Дэвис-стрит.
Вот, что вспоминает сам Джеральд о своем первом посещении зоопарка: «Помню очаровательные черные пятнышки на шкуре леопарда. Помню роскошного тигра, который напомнил мне волнующееся золотое море. Зоопарк был очень маленьким, количество клеток с животными сведено к минимуму.»
Сказать, что зоопарк произвел на юного Джерри сильное впечатление, значит ничего не сказать. После посещения зоопарка, он просто стал им грезить, и всегда на вопрос, куда мы сегодня пойдем уверенно отвечал, что в зоопарк. И когда получал отказ, мягко говоря громко проявлял свое недовольство. Однажды заболев, устроил зоопарк у себя дома, построив вольеры, и посадив туда игрушечных животных. Говорят, именно тогда юный Джеральд понял, что у него будет свой, настоящий зоопарк.