В течение первых 10 или 15 лет Пять Точек были весьма приличным и относительно мирным местом. Все это время один сторож с кожаным шлемом на голове, из-за которого нью-йоркских полицейских раньше звали кожаноголовыми, мог в одиночку охранять порядок; но так продолжалось недолго, пока власти не перестали справляться с буйными жителями Парадиз-сквер и успешно изгонять бандитов и других преступников из их нор и притонов.
Характер района стал меняться к худшему около 1820 года. Многоквартирные дома начали разрушаться и тонуть на недостаточно осушенной, топкой земле, малярийные испарения, туман, поднимающийся с болотистой земли, привели к тому, что место стало опасным для здоровья. Богатые семьи переезжали из этих чудовищных домов в другие части Манхэттена, и на их месте поселялись в основном освобожденные рабы-негры и бедные ирландцы, которые наполнили Нью-Йорк большой волной иммиграции, последовавшей после революции и провозглашения республики. Они беспорядочно заселяли трущобы Пяти Точек, и к 1840 году этот район стал самым злачным местом в Америке.
В то время Шестой округ занимал примерно 86 акров (34,4 гектара), но большая часть земли была занята торговыми домами, и почти все население сосредоточилось в области Парадиз-сквер и района, в будущем известного как Малберри-Бенд, к северу и чуть к востоку от Пяти Точек. Тысячи людей влачили жалкое существование в подвалах и на чердаках, основная часть населения была абсолютно нищей и почти полностью погрязла в пороке. Подавляющее большинство составляли ирландцы (перепись, проводимая промышленной палатой Пяти Точек во время Гражданской войны, зафиксировала 3345 ирландских семей), а следующими по численности были итальянцы – 416 семей. Там было только 167 семей чисто американского происхождения и 73 – недавно приехавших из Англии. Более 3 тысяч семей заполонили Бакстер-стрит от Чэтэм до Кэнэл, что составляет расстояние меньше полумили, и на участке 25 на 100 футов (7 на 30 метров), на этой же улице, находились трущобы, в которых ютилось 286 человек. Вокруг Точек и Парадиз-сквер располагалось 270 салунов и еще некоторое количество баров, танцполов, публичных домов и зеленных лавок, где продавалось кое-что покрепче, чем овощи.