Компания Groq во главе с бывшим инженером и гендиректором Google Джонатаном Россом утверждает, что создала первый в истории языковой процессор (LPU). Сообщается, что он может обеспечить максимальную скорость для приложений, основанных на искусственном интеллекте. И хотя это заявление носит весьма смелый характер, демонстрация возможностей разработки дает уверенность в правдивости сказанного.
Джонатан Росс, ранее разработавший тензорный процессор Google (TPU), запустил Groq в 2016 году с целью создания чипа, способного выполнять Deep Learning задачи намного эффективнее, чем существующие процессоры и графические видеоускорители.
Молниеносная скорость
Тензорный потоковый процессор (TSP) производства Groq подобен сборочной линии, обрабатывающей задачи с данными в последовательном и организованном режиме. В то же время классический GPU-чип можно сравнить с рабочей станцией, куда работники приходят и уходят, чтобы выполнить определенные этапы обработки. Эффективность TSP стала очевидной с появлением генеративного искусственного интеллекта, поэтому в итоге TSP-процессор был переименован в более мейнстримный Language Processing Unit (LPU).
В отличие от графических процессоров, LPU использует оптимизированный подход, устраняющий необходимость в сложном оборудовании для планирования, обеспечивая постоянную задержку и пропускную способность. LPU энергоэффективен и грамотно управляет несколькими потоками во избежание недоиспользования ядер. Масштабируемая конструкция чипа от Groq позволяет соединять несколько LPU без традиционных «узких» мест, снижая требования к оборудованию для крупномасштабных моделей искусственного интеллекта.
Как показали тесты, LPU-процессор способен генерировать до 500 токенов в секунду, в то время как ChatGPT-3.5 демонстрирует производительность в 40 токенов в секунду. С видеодемонстрацией работы системы Groq можно ознакомиться на страничке Мэтта Шумера в соцсети X (или на видео выше). По его словам, движок ответов ИИ генерирует каждое сообщение примерно за секунду, причем 3/4 времени тратится на поиск информации и 1/4 на генерацию.Японские инженеры создали мягкого робота-червя — разработка на стыке мягкой робототехники и биомимикрии.