Все влияние гангстера было утрачено после его попадания Алькатрас. Здесь царили свои законы, и была своя иерархия. Проблемы в тюремной жизни Аль Капоне создавала не администрация, а его соратники по несчастью, заключенные. Показательным был конфликт произошедший во время подстрижки. Капоне попробовал пройти без очереди, и чуть не был заколот ножницами грабителем банков Лукасом. Громиле было плевать на авторитеты. Это происшествие отучило гангстера качать права раз и навсегда. Предвзятое отношение к нему продолжилось и после. Не приняв участие в забастовке, которая проходила по причине смерти заключенного, бедолаге отказали в медицинской помощи. Капоне противопоставил себя заключенным и к гонениям присоединились почти все заключенные. На работе Капоне получает ранение от грабителя поездов Роя Гарднера который ударом по руке, нанес глубокую рану бывшему авторитету. Были и другие случаи нанесения телесных повреждений авторы которых остались неизвестны.
Капоне был переведен на новую работу. Его поставили заниматься протиранием купален. Это послужило появлению новой клички для мафиози, его стали называть "итальяшкой на швабре". После предательского удара все того же Лукаса который стал врагом Капоне он оказался в госпитале, где пролежал неделю. Возможно, он был бы убит, но были заключенные, которые оказывали ему покровительство, надеясь, поживится его деньгами на свободе, травля продолжалась. Ему добавляли в кофе щелочь, пытались задушить.
Все происходящее дошло до прессы, и газетчики принялись смаковать эту новость. Все газеты пестрели заголовками о том, как низко пал бывший король Чикаго. В просьбе жены о переводе в другую тюрьму генеральный прокурор отказал. И травля продолжилась. Последующее время Капоне начинает постепенно терять ясность мышления, и это было замечено другими заключенными. Травля прекратилась, и его оставили в покое. Заключенные во все времена сочувственно относились к сумасшедшим. В 1939 году Капоне был переведен из Алькатраса. Местом его пребывания стала федеральная тюрьма в районе Лос-Анджелеса. В ноябре он был освобожден, и последние 8 лет жизни провел медленно сходя с ума. Нахождение в "Скале" давало о себе знать.
После его освобождения репортеры пытались задавать вопросы его "правой руке" Гузику по прозвищу "Стальной палец". Писак, прежде всего интересовало, вернется ли крестный отец к контролю своих территорий? Ответ Гузика отметал все сомнения - " Аль беспомощнее фруктового пирога!".
В январе 1947 года у него был инсульт. Через три дня 25 января врачами была зафиксирована смерть с диагнозом пневмония.