Крылов получил квартиру в здании Публичной библиотеки, прожил здесь почти 30 лет. Этажом выше находилась квартира Гнедича. Они подружились. В квартире Крылова было три комнаты и кухня. Обычно хозяин находился в угольной комнате. А две других чаще пустовали. Убирались они редко.
Иван Андреевич подбирал книги по самым разным областям знаний. Благодаря ему появились книги по физике, астрономии, медицине, географии и, конечно, художественная литература. Особое внимание Крылов уделял старым книгам. Так он познакомился с книгопродавцем Александром Смирдиным, у которого он закупил издания, напечатанные до 1811 года. Иван Андреевич не ленился обходить книготорговцев, знакомиться с частными коллекциями, чтобы заполучить в библиотеку редкие экземпляры.
Для читателей библиотека открылась в 1814 году. Но работала она всего три дня в неделю: среду, четверг и пятницу. У сотрудников было много другой работы. Они разбирали книги, составляли каталоги и так далее. С читателями работал дежурный библиотекарь. Дежурство выпадало два-три раза в месяц. Крылову очень нравились эти дни.
Иван Андреевич так же работал над правилами описания книг, над составлением каталогов. Он очень долго и кропотливо составлял предметный каталог. Над каталогом русских книг Крылов работал более десяти лет. Иван Андреевич участвовал в составлении славяно-русского словаря.
Должность Крылова была помощник библиотекаря. Вместе с Сопиковым он отвечал за отдел русских книг. Когда Иван Андреевич поступил на работу, в библиотеке было всего четыре русские книги. Очень много было приложено труда, чтобы наполнить этот отдел. Хотя в то время уже существовало распоряжение об обязательном экземпляре, но оно редко исполнялось. Крылову пришлось много потрудиться, чтобы все обязательные экземпляры доставлялись в библиотеку.