Открытый исходный код меняет все.
В феврале Meta выпустила свою большую языковую модель: LLaMA . В отличие от OpenAI и его ChatGPT, Meta не просто предоставила миру окно чата для игры. Вместо этого компания опубликовала код в сообществе разработчиков программного обеспечения с открытым исходным кодом, и вскоре после этого произошла утечка информации о самой модели. Исследователи и программисты немедленно начали его модифицировать, улучшать и заставлять делать то, чего никто не ожидал. И их результаты были немедленными, инновационными и указывали на то, как будет развиваться будущее этой технологии. Скорость обучения значительно возросла, а размер самих моделей сократился до такой степени, что их можно создавать и запускать на ноутбуке. Мир исследований ИИ кардинально изменился.
Это событие не произвело такого же фурора, как другие корпоративные объявления, но его эффект будет гораздо сильнее. Это отнимет власть у крупных технологических корпораций, что приведет как к гораздо большему количеству инноваций, так и к гораздо более сложной нормативной среде. Крупные корпорации, контролировавшие эти модели, предупреждают, что такая открытость приведет к потенциально опасным событиям, а проблемное использование открытых технологий уже задокументировано. Но те, кто работает над открытыми моделями, возражают, что более демократичная исследовательская среда лучше, чем контроль над этой мощной технологией небольшим количеством корпораций.
Смена власти происходит в результате упрощения. LLM, созданные OpenAI и Google, опираются на огромные наборы данных, измеряемые десятками миллиардов байт и обрабатываемые десятками тысяч мощных специализированных процессоров, создающих модели с миллиардами параметров. Общепринятое мнение заключается в том, что для создания лучшей модели необходимы более крупные данные, более масштабная обработка и более крупные наборы параметров. Создание такой модели требует ресурсов корпорации, денег и вычислительных мощностей Google, Microsoft или Meta.
Но, опираясь на общедоступные модели, такие как LLaMa от Meta, сообщество открытого исходного кода ввело инновации, позволяющие получать результаты почти такие же хорошие, как и огромные модели, но работать на домашних машинах с общими наборами данных. То, что когда-то было заповедником богатых ресурсами, стало игровой площадкой для любого, у кого есть любопытство, навыки программирования и хороший ноутбук. Чем больше, тем лучше, но сообщество разработчиков ПО с открытым исходным кодом показывает, что меньшего часто бывает достаточно. Это открывает двери для более эффективных, доступных и ресурсосберегающих программ LLM.
Что еще более важно, эти меньшие по размеру и более быстрые LLM гораздо более доступны и с ними легче экспериментировать. Вместо того чтобы нуждаться в десятках тысяч машин и миллионах долларов для обучения новой модели, теперь существующую модель можно настроить на ноутбуке средней ценовой категории за несколько часов. Это способствует быстрым инновациям.
Это также отнимает контроль от крупных компаний, таких как Google и OpenAI. Предоставляя доступ к базовому коду и поощряя сотрудничество, инициативы с открытым исходным кодом дают возможность широкому кругу разработчиков, исследователей и организаций формировать технологию. Такая диверсификация контроля помогает предотвратить неправомерное влияние и гарантирует, что разработка и внедрение технологий искусственного интеллекта будет соответствовать более широкому набору ценностей и приоритетов. Большая часть современного Интернета построена на технологиях с открытым исходным кодом из стека LAMP (Linux, Apache, mySQL и PHP/PERL/Python) — набора приложений, часто используемых в веб-разработке. Это позволило легко создавать сложные веб-сайты с использованием инструментов с открытым исходным кодом, созданных энтузиастами, а не компаниями, стремящимися к прибыли. Сам Facebook изначально был создан с использованием PHP с открытым исходным кодом.
Но открытый исходный код также означает, что никто не будет нести ответственность за неправильное использование технологии. Когда в малоизвестных частях технологии с открытым исходным кодом, критически важных для функционирования Интернета, обнаруживаются уязвимости, зачастую не существует организации, ответственной за исправление ошибки. Сообщества с открытым исходным кодом охватывают страны и культуры, что затрудняет обеспечение соблюдения законов любой страны сообществом. А наличие открытого исходного кода технологии означает, что те, кто хочет использовать ее в непреднамеренных, незаконных или гнусных целях, имеют такой же доступ к технологии, как и любой другой.
Это, в свою очередь, имеет серьезные последствия для тех, кто хочет регулировать эту новую и мощную технологию. Теперь, когда сообщество открытого исходного кода меняет LLM, больше невозможно регулировать технологию, диктуя, какие исследования и разработки можно проводить; просто слишком много исследователей делают слишком много разных вещей в слишком многих разных странах. Единственный механизм управления, доступный сейчас правительствам, — это регулировать использование (и только для тех, кто обращает внимание на закон) или предлагать стимулы тем (включая стартапы, частных лиц и небольшие компании), которые сейчас являются движущей силой инноваций в мире. арена. Стимулы для этих сообществ могут принимать форму вознаграждений за создание конкретных вариантов использования технологии или хакатонов для разработки особенно полезных приложений. Палками сложно пользоваться — вместо этого
Важно помнить, что сообщество open-source не всегда мотивировано прибылью. Членами этого сообщества часто движет любопытство, желание экспериментировать или простые радости строительства. Хотя есть компании, которые получают прибыль от поддержки программного обеспечения, созданного в рамках проектов с открытым исходным кодом, таких как Linux, Python или веб-сервер Apache, эти сообщества не ориентированы на получение прибыли.
В феврале Meta выпустила свою большую языковую модель: LLaMA . В отличие от OpenAI и его ChatGPT, Meta не просто предоставила миру окно чата для игры. Вместо этого компания опубликовала код в сообществе разработчиков программного обеспечения с открытым исходным кодом, и вскоре после этого произошла утечка информации о самой модели. Исследователи и программисты немедленно начали его модифицировать, улучшать и заставлять делать то, чего никто не ожидал. И их результаты были немедленными, инновационными и указывали на то, как будет развиваться будущее этой технологии. Скорость обучения значительно возросла, а размер самих моделей сократился до такой степени, что их можно создавать и запускать на ноутбуке. Мир исследований ИИ кардинально изменился.
Это событие не произвело такого же фурора, как другие корпоративные объявления, но его эффект будет гораздо сильнее. Это отнимет власть у крупных технологических корпораций, что приведет как к гораздо большему количеству инноваций, так и к гораздо более сложной нормативной среде. Крупные корпорации, контролировавшие эти модели, предупреждают, что такая открытость приведет к потенциально опасным событиям, а проблемное использование открытых технологий уже задокументировано. Но те, кто работает над открытыми моделями, возражают, что более демократичная исследовательская среда лучше, чем контроль над этой мощной технологией небольшим количеством корпораций.
Смена власти происходит в результате упрощения. LLM, созданные OpenAI и Google, опираются на огромные наборы данных, измеряемые десятками миллиардов байт и обрабатываемые десятками тысяч мощных специализированных процессоров, создающих модели с миллиардами параметров. Общепринятое мнение заключается в том, что для создания лучшей модели необходимы более крупные данные, более масштабная обработка и более крупные наборы параметров. Создание такой модели требует ресурсов корпорации, денег и вычислительных мощностей Google, Microsoft или Meta.
Но, опираясь на общедоступные модели, такие как LLaMa от Meta, сообщество открытого исходного кода ввело инновации, позволяющие получать результаты почти такие же хорошие, как и огромные модели, но работать на домашних машинах с общими наборами данных. То, что когда-то было заповедником богатых ресурсами, стало игровой площадкой для любого, у кого есть любопытство, навыки программирования и хороший ноутбук. Чем больше, тем лучше, но сообщество разработчиков ПО с открытым исходным кодом показывает, что меньшего часто бывает достаточно. Это открывает двери для более эффективных, доступных и ресурсосберегающих программ LLM.
Что еще более важно, эти меньшие по размеру и более быстрые LLM гораздо более доступны и с ними легче экспериментировать. Вместо того чтобы нуждаться в десятках тысяч машин и миллионах долларов для обучения новой модели, теперь существующую модель можно настроить на ноутбуке средней ценовой категории за несколько часов. Это способствует быстрым инновациям.
Это также отнимает контрольот крупных компаний, таких как Google и OpenAI. Предоставляя доступ к базовому коду и поощряя сотрудничество, инициативы с открытым исходным кодом дают возможность широкому кругу разработчиков, исследователей и организаций формировать технологию. Такая диверсификация контроля помогает предотвратить неправомерное влияние и гарантирует, что разработка и внедрение технологий искусственного интеллекта будет соответствовать более широкому набору ценностей и приоритетов. Большая часть современного Интернета построена на технологиях с открытым исходным кодом из стека LAMP (Linux, Apache, mySQL и PHP/PERL/Python) — набора приложений, часто используемых в веб-разработке. Это позволило легко создавать сложные веб-сайты с использованием инструментов с открытым исходным кодом, созданных энтузиастами, а не компаниями, стремящимися к прибыли. Сам Facebook изначально был создан с использованием PHP с открытым исходным кодом.
Но открытый исходный код также означает, что никто не будет нести ответственность за неправильное использование технологии. Когда в малоизвестных частях технологии с открытым исходным кодом, критически важных для функционирования Интернета, обнаруживаются уязвимости, зачастую не существует организации, ответственной за исправление ошибки. Сообщества с открытым исходным кодом охватывают страны и культуры, что затрудняет обеспечение соблюдения законов любой страны сообществом. А наличие открытого исходного кода технологии означает, что те, кто хочет использовать ее в непреднамеренных, незаконных или гнусных целях, имеют такой же доступ к технологии, как и любой другой.
Это, в свою очередь, имеет серьезные последствия для тех, кто хочет регулировать эту новую и мощную технологию. Теперь, когда сообщество открытого исходного кода меняет LLM, больше невозможно регулировать технологию, диктуя, какие исследования и разработки можно проводить; просто слишком много исследователей делают слишком много разных вещей в слишком многих разных странах. Единственный механизм управления, доступный сейчас правительствам, — это регулировать использование (и только для тех, кто обращает внимание на закон) или предлагать стимулы тем (включая стартапы, частных лиц и небольшие компании), которые сейчас являются движущей силой инноваций в мире. арена. Стимулы для этих сообществ могут принимать форму вознаграждений за создание конкретных вариантов использования технологии или хакатонов для разработки особенно полезных приложений. Палками сложно пользоваться — вместо этого
Важно помнить, что сообщество open-source не всегда мотивировано прибылью. Членами этого сообщества часто движет любопытство, желание экспериментировать или простые радости строительства. Хотя есть компании, которые получают прибыль от поддержки программного обеспечения, созданного в рамках проектов с открытым исходным кодом, таких как Linux, Python или веб-сервер Apache, эти сообщества не ориентированы на получение прибыли.
И есть много моделей с открытым исходным кодом на выбор. Alpaca, Cerebras-GPT, Dolly, HuggingChat и StableLM были выпущены за последние несколько месяцев. Большинство из них созданы на основе LLaMA, но некоторые имеют другую родословную. Другие уже в пути.
Крупные технологические монополии, которые разрабатывают и внедряют программы LLM — Google, Microsoft и Meta — к этому не готовы. Несколько недель назад сотрудник Google опубликовал записку, в которой инженер пытался объяснить своему начальству, что означает LLM с открытым исходным кодом для их собственной запатентованной технологии. В меморандуме делается вывод, что сообщество разработчиков программного обеспечения с открытым исходным кодом обогнало крупные корпорации и имеет над ними подавляющее преимущество.
Это не первый случай, когда компании игнорируют силу сообщества открытого исходного кода. Сан никогда не понимал Linux. Netscape никогда не понимал веб-сервер Apache. Открытый исходный код не очень хорош в оригинальных инновациях, но как только инновация увидена и принята, сообщество может стать довольно ошеломляющим. Крупные компании могут отреагировать, попытавшись сократить свои расходы и отозвать свои модели из сообщества разработчиков ПО с открытым исходным кодом.
Но уже слишком поздно. Мы вступили в эпоху демократизации LLM. Показывая, что модели меньшего размера могут быть очень эффективными, позволяя легко экспериментировать, диверсифицируя контроль и предоставляя стимулы, не мотивированные получением прибыли, инициативы с открытым исходным кодом переводят нас в более динамичную и инклюзивную среду ИИ. Это не означает, что некоторые из этих моделей не будут предвзятыми или неправильными или не будут использоваться для создания дезинформации или злоупотреблений. Но это означает, что для контроля над этой технологией потребуется совершенно иной подход, чем для регулирования крупных игроков.
Future Tense — это партнерство Slate , New America и Университета штата Аризона , которое изучает новые технологии, государственную политику и общество.