Отец его Андрей Прохорович был из неродовитых дворян, получил дворянство как офицер, не имел поместья и крепостных, жили на жалованье, принимал участие в отстаивании крепости против Пугачева. Был одним из первых деятельных офицеров сопротивления в Яицке. Яицк под его командованием не сдался, Пугачеву успешно противостояли, позже были найдены и все изменники. Первым рассказ о том времени записал Пушкин со слов А. Крылова (описание Оренбурга, упомянут в «Капитанской дочке»). После восстания Крылов рассчитывал на вознаграждение, подавал прошение о награде, но оно не было удовлетворено, тогда Крылов ушел в отставку, после которой и уехал в Тверь. Здесь он был вторым председателем городского магистрата (ведал полицейскими делами), прекрасно исполнял свои обязанности, был неподкупен, имел небольшую библиотеку, но мало занимался образованием сына, предпочитал приучать его к службе. Иван начинал в суде города Калязин, потом служил в Тверском губернском магистрате подканцеляристом (в 9-10 лет).