GigaToken берётся за операцию, которую разработчики языковых моделей привыкли считать неизбежной накладной статьёй расходов, — токенизацию текста. Автор проекта утверждает, что на некоторых сочетаниях процессора и словаря его библиотека обгоняет HuggingFace Tokenizers примерно в 1000 раз, обрабатывая данные со скоростью в несколько гигабайт в секунду. Звучит как типичный громкий заголовок. Однако за ним скрывается не новый алгоритм искусственного интеллекта, а очень серьёзная инженерная работа: специализированный...