В 1940 г., не желая сотрудничать с немецкой фирмой «УФА», актер уезжает в Голливуд. Хотя американцы, называвшие его «французским Спенсером Трейси», по достоинству оценили габеновскую манеру игры, снялся он в США только в двух малозначительных фильмах. Будучи глубоко национальным актером, он не мог прижиться на чужой почве, да и языковой барьер преодолевал с трудом. Но главной причиной его отчужденности в Голливуде была оторванность от родины, боль за ее судьбу. Габен говорил: «Останься я там в то время, когда другие сражались, никогда я не посмел бы ступить ногой на землю Франции. А мне очень хотелось возвратиться к себе. Я бы подох от скуки там, в Голливуде. И раз дело шло о том, чтобы подыхать там или подыхать здесь, я предпочел воевать в этой проклятой войне».
Это решение было очень непростым для Габена. Ведь в США он встретил самую большую любовь в своей жизни — ослепительную Марлен Дитрих. Их роман был фантастическим, возвышенным и в то же время обреченным, подарившим обоим недолгие годы счастья. Для Жана Марлен навсегда осталась самой любимой женщиной, а он для нее — единственным «островом счастья», мужчиной, которого она «любила как большого ребенка». Но в 1943 г. этот «остров» уплыл от нее на корабле, сопровождающем союзнические транспорты в Мурманск. Уйдя добровольцем на фронт, Габен до конца войны служил сначала во флоте командиром орудия, потом в танковой бригаде. О своем первом бое он говорил: «Это был подлинный ад… Я дрожал, но не хотел показать этого моим артиллеристам». Где-то посреди этого ада, на передовой, в перерыве между боями, судьба подарила Жану однажды короткое свидание с любимой. Тогда они дали друг другу слово, что если останутся в живых, то после войны будут вместе.