212 подписчиков
На данный момент самая передовая нейронная сеть в области обработки естественного языка (NLP), GPT-3, впечатляет своей способностью генерировать связные ответы в диалоге с людьми. Она является нейросетью-трансформером, которая превосходит предыдущее поколение, GPT-2, по объему используемых данных и параметров.
Однако, даже самые совершенные трансформеры все еще не имеют понимания значения слов и фраз, которые они создают. Для их обучения требуются огромные наборы данных и вычислительные ресурсы, которые, в свою очередь, оказывают негативное влияние на окружающую среду. Еще одной проблемой является недостаточное качество используемых наборов данных для обучения нейронных сетей: тексты, которые можно найти в интернете, часто содержат искажения, манипуляции и фейковую информацию.
Около минуты
19 октября 2023