Друри был английским моряком на судне Дегрэйв (Degrave) в 1703 году. После того, как корабль был поврежден, экипаж, в том числе Друри, был вынужден высадиться на берег рядом с Мадагаскаром. Тем не менее, высадка на берег была лишь началом проблем Друри. Помните сцену из фильма «Пираты Карибского моря: Сундук мертвеца», в котором за Джеком Воробьем бежит целая армия аборигенов? Именно в такую же ситуацию попал Друри, только у него не было корабля, на котором он мог бы скрыться.
Друри и остальные члены экипажа провели свои первые четыре дня на Мадагаскаре пытаясь убежать примерно от 2 000 воинов Тандрой (Tandroy). Когда Тандрой наконец поймали экипаж, они казнили всех, кроме Друри и трёх других мальчиков, которые затем были взяты в рабство. Друри провел восемь лет в качестве королевского слуги и упорно трудился, чтобы завоевать определённое уважение, в конечном счёте, сражаясь вместе со своими поработителями Тандрой. В конечном итоге, Друри дали определённую свободу, и ему было разрешено жениться на такой же, как он пленнице и завести свой собственный скот.
После почти 15 лет, проведённых в качестве раба, Друри в одиночку бежал с Мадагаскара, на борту английского корабля работорговца. Жена Друри отказалась покинуть остров, опасаясь мифа, который сулил неестественную смерть любому рабу, который покинет остров. Друри изо всех сил пытался найти свое место в английском обществе, и по причудливому повороту судьбы вернулся в Африку, но на этот раз в качестве работорговца.