Отец его Андрей Прохорович был из неродовитых дворян, получил дворянство как офицер, не имел поместья и крепостных, жили на жалованье, принимал участие в отстаивании крепости против Пугачева. Был одним из первых деятельных офицеров сопротивления в Яицке. Яицк под его командованием не сдался, Пугачеву успешно противостояли, позже были найдены и все изменники. Первым рассказ о том времени записал Пушкин со слов А. Крылова (описание Оренбурга, упомянут в «Капитанской дочке»). После восстания Крылов рассчитывал на вознаграждение, подавал прошение о награде, но оно не было удовлетворено, тогда Крылов ушел в отставку, после которой и уехал в Тверь.
Здесь он был вторым председателем городского магистрата (ведал полицейскими делами), прекрасно исполнял свои обязанности, был неподкупен, имел небольшую библиотеку, но мало занимался образованием сына, предпочитал приучать его к службе. Иван начинал в суде города Калязин, потом служил в Тверском губернском магистрате подканцеляристом (в 9-10 лет).
Булгарин писал, что в Твери И.Крылов день и ночь читал, пренебрегал службой, его «начальник» вечно ругался на пустое времяпрепровождение.
Грамоте Крылова учила мать, она следила за его занятиями, по её настоянию сына какое-то время обучали французскому. После смерти А.Крылова мать возобновила занятия французского, учила его игре на скрипке, способствовала любви к чтению. Однако, после смерти отца Ивану пришлось активно работать, чтобы содержать семью.
Иван избегал разговоров об отце, но гордился обороной Яицка.
Во времена Крылова в Твери активно развивались ремесла, строились церкви, город был большим и красивым. Дворянская гимназия (79 г.), Городская школа (76 г.) и Семинария – главные учебные заведения Твери. Обучались и дворяне, и дети горожан, купцов. Купечество было зажиточным, торговали пенькой и хлебом. В это время город уже отстроен после пожара Екатериной, напоминает теперь Санкт-Петербург.
О месте обучения Крылова неизвестно, но точно не в гимназии и не в городской школе, не в семинарии. Возможно, учился в частной школе или у Львовых дома вместе с детьми семейства.
Еще в Твери Крылов начал писать, бывал в дворянских домах и встречался с начитанными людьми, ходил часто в театр на спектакли любителей в зале Благородного собрания Дворянского училища и в тверскую Семинарию на литературные встречи, дискуссии («разговоры») в виде театральных представлений. Ученики Семинарии активно писали, подражали Ломоносову, составляли оды, стихи, выпускали сборники произведений.
Первое произведение Крылова – перевод басни Лафонтена. Первое самостоятельное произведение – комическая пьеса «Кофейница». В 13 лет Крылов сам уезжает в Петербург, его объявляют в розыск. Поступил в казенную палату в Петербурге. Возможно, при помощи Татищева или Львова.
