Яков Григорьевич Агафонов родился в 1912 году в селе Левая Россошь Воронежской области в семье крестьянина. В 1938 году семья Агафоновых переехала в город Куйбышев (ныне Самара). 30 мая 1941 года Яков Агафонов был призван Куйбышевским РВК на военные сборы. В первые дни войны выехал на фронт в должности командира противотанкового орудия.
Гвардии старшина, командир орудия 353-го гвардейского истребительного противотанкового полка участвовал в боях под Москвой, на Курской дуге, при форсировании Днепра, при освобождении Украины и Польши. Награжден двумя орденами Красной Звезды и медалью «За боевые заслуги».
6 июля 1943 года, будучи командиром орудия, старший сержант Агафонов одним из первых в части принял на себя танковый удар противника на Обоянском направлении. Гитлеровские войска, не считаясь с потерями, рвались к Курску. В районе села Верхополье на пути врага встали артиллеристы 869-го истребительного противотанкового полка. Орудие сержанта Агафонова занимало огневую позицию у дороги на главном направлении танкового удара гитлеровцев. В бою с 17 танками уничтожил три из них. Оставшись один у орудия, вел неравный поединок до конца боя. Самоотверженно отбивали атаку и другие воины-артиллеристы. Понеся большие потери, противник отошел назад. В ноябре 1943 года за проявленное в том бою мужество Яков Агафонов был удостоен звания Героя Советского Союза.
Старшина Агафонов Яков Григорьевич погиб 18 августа 1944 года в бою за Варшаву. Похоронен в Праге.