1935 год. Пол работает надзирателем в блоке «Е» федеральной тюрьмы «Холодная гора» (штат Луизиана), где содержатся заключённые, ожидающие казни на электрическом стуле. А «Зелёная миля» — это коридор блока, по которому осуждённые отправляются в последний путь (его пол выкрашен зелёной краской, отсюда и название).
Среди прочих надзирателей в блоке «Е» работает Перси Уэтмор — злобный, трусливый и подлый молодой человек. Издеваясь над заключёнными, он уверен в своей вседозволенности, поскольку является племянником жены губернатора штата. Устав от бесконечных выходок Перси, Эджкомб и его коллеги заключают с ним договор — ему разрешат провести казнь заключённого, но после этого он должен написать заявление о своём переводе в психиатрическую лечебницу на административную должность.
В тюрьме появляется негр большого роста по имени Джон Коффи, которого приговорили к смерти за изнасилование и убийство двух девочек, а после него — убийца и грабитель Уильям Уортон по кличке Дикий Билл. Там же в блоке смертников находится и француз Эдуард Делакруа, приручивший сообразительного мышонка. Он дал ему прозвище Мистер Джинглс и обучил разным фокусам.
Тем временем оказывается, что Джон Коффи наделён сверхъестественными способностями — с помощью наложения рук он исцеляет Эджкомба от простатита, а затем возвращает к жизни Мистера Джинглса, которого растоптал Перси в отместку Делакруа. С этого момента Эджкомб начинает сомневаться в виновности Коффи.
Во время казни Перси допускает намеренную ошибку — он «забывает» намочить в солёной воде губку, которую накладывают на голову осуждённого, тем самым обрекая Делакруа на дополнительные мучения.
Охранники блока «Е» принимают решение тайно отвезти Джона Коффи в дом начальника тюрьмы, чья жена страдает неоперабельной опухолью мозга. Коффи успешно исцеляет женщину, но опухоль оказалась слишком большой, и назад в тюрьму его привозят совершенно больного. Когда к его камере подходит Перси, Коффи хватает его и передаёт ему сидящую внутри него опухоль. Перси сходит с ума и убивает из револьвера Дикого Билла, после чего попадает в ту самую психиатрическую больницу уже в качестве пациента. Позже Коффи успеет доказать Эджкомбу с помощью своих экстрасенсорных способностей, что убийцей и насильником на самом деле был не он, а Дикий Билл. Эджкомб решается пойти на должностное преступление, чтобы помочь Джону тайно бежать из тюрьмы. Однако тот решительно отвергает это предложение и просит не препятствовать казни, так как он очень устал от ужасов окружающей его жизни.
Вскоре после казни Джона Коффи вся команда блока «Е» переводится в тюрьму для несовершеннолетних.
И снова дом престарелых, где заметно постаревший герой рассказывает, что казнённый Джон Коффи передал ему часть своей силы и подарил долгую жизнь: на момент рассказа Полу, оказывается, уже 108 лет. В подтверждение своей истории Пол ведёт Элейн в небольшой сарай неподалёку, где по сей день живёт изрядно постаревший мышонок казнённого Делакруа — Мистер Джинглс, которому главный герой носит еду. В финале Пол Эджкомб поясняет: его долгая жизнь — это божья кара за то, что он не смог воспрепятствовать казни удивительного человека — Джона Коффи. Напоследок он говорит Элейн: «Когда-нибудь каждому из нас придётся пройти свою зелёную милю, но иногда она кажется такой длинной…»