В январе 1967 году Бек организовал The Jeff Beck Group, в которую вошли также Род Стюарт (вокал), Ронни Вуд (бас-гитара), Эйнсли Данбар (ударные). Состав Jeff Beck Group не отличался стабильностью. В 1968 году вместо Данбара за ударную установку сел Мики Уоллер.
В 1968 году вышел первый альбом Truth, ставший одной из лучших работ во всей карьере Бека. Альбом достиг # 15 в США. В записи этого альбома, помимо основных членов группы, приняли участие Кит Мун, Джон Пол Джонс и Ники Хопкинс. Считается, что звучание этого альбома стало своеобразным ориентиром для первого альбома группы Led Zeppelin. Альбом Truth содержит несколько кавер-версий произведений известных исполнителей, в частности, песни «You Shook Me» блюзового композитора Уилли Диксона, написанной им в соавторстве с Дж. Б. Ленойром и впервые исполненной Мадди Уотерсом в 1962 г. Пять месяцев спустя вышел дебютный альбом Led Zeppelin, также содержащий кавер-версию этой композиции. Так как у обоих вариантов есть значительное сходство, Led Zeppelin были обвинены в краже идеи Бека. Однако в интервью в 1977 году Пейдж рассказал, что он впервые услышал версию Бека уже после записи песни и что причиной совпадения являются похожие музыкальные вкусы музыкантов.
В конце 1968 года барабанщик Мики Уоллер был заменен Тони Ньюманом (Tony Newman), и в обновлённом составом группа записала второй альбом Beck-Ola, который вышел в июне 1969 года и также оказался весьма успешным. После выхода этого альбома состав The группы полностью изменилсяː из неё ушли все прежние музыканты, и вместо них Бек принял новых. Вокалистом группы вместо ушедшего Рода Стюарта стал Бобби Тенч (Bobby Tench), а место ударника занял Кози Пауэлл.
В 1971 году Бек попал в автомобильную аварию, которая на три месяца выбила его из нормальной жизни. О своём третьем альбоме Rough and Ready, записанном сразу после того, как Бек выписался из больницы, сам Бек говорит, что хотел бы, чтобы он куда-нибудь исчез. Запись альбома проходила в то время, когда Джефф не до конца восстановился после аварии и по его мнению альбом получился неудачным, хотя и достиг #46 Billboard 200 и занял #23 в категории «лучших альбомов 1971 года» по опросу Pazz & Jop, проводимому газетой The Village Voice.
В мае 1972 года был выпущен четвёртый альбом, названный просто Jeff Beck Group. Он не снискал такой популярности у современников как Truth и Beck-Ola. Однако, по мнению журнала Classic Rock, этот альбом, получившийся в стиле прифанкованного метала, является одним из лучших рок-альбомов 1972 года. 24 июля 1972 года «The Jeff Beck Group» была официально распущена.