В 1913 году, после смерти отца, матери Алёши пришлось переехать в Нижний Новгород. Алёша был мальчиком лет девяти, послушным и впечатлительным. Он очень любил свою маму и бабушку. Семья поселилась в большом доме деда, который был хозяином красильной мастерской. В доме также жили дядья Алёши с женами и детьми, но все они враждовали между собой.
Алёшин дед был жестоким и скупым. Он наказывал внуков за провинности и однажды избил Алёшу до полусмерти. Единственным человеком, который любил Алёшу, была его бабушка. В доме жил также приёмыш-цыганенок, который был одним из немногих хороших людей, но дядья Алёши сгубили его.
Весной семья разделилась. Дед купил большой дом и начал сдавать комнаты. Мать Алёши ушла, а мальчик остался с дедом и бабушкой. Но и на новом месте жизнь не была спокойной. К деду стали являться его сыновья и требовать денег.
После проживания в новом доме летом и частью зимы, дед снова переехал. Затем мама Алёши подселилась к ним, а вскоре вышла замуж. Отчим оказался мошенником, игроком и очень жестоким человеком. Он избивал беременную мать Алёши, и мальчик ненавидел его. Однажды Алёша даже набросился на отчима с ножом.
Алёша был драчливым и плохо учился. Дед начал питаться отдельно от бабушки, и внуку не давал ни копейки. Чтобы прокормиться самому и помочь бабушке, Алёша собирал утиль, обирал пьяных и крал дрова. Из-за этого одноклассники издевались над ним.
Вскоре отчим Алёши куда-то исчез, а тяжелобольная мать умерла, оставив новорождённого сына. Скупой дед заявил, что больше не собирается содержать Алёшу, и выгнал его из дому.