В конце 2022 года OpenAI представила свою крупную языковую модель (LLM), что спровоцировало волну аналогичных разработок от ведущих технологических компаний. Однако, несмотря на мощь больших моделей, их использование сопряжено с рядом проблем: высокие энергозатраты, риски распространения недостоверной информации и сложности с конфиденциальностью данных.
Почему малые модели (SLM) становятся приоритетом?
1. Ограниченные и проверенные данные
- В отличие от LLM, обучающихся на огромных, но не всегда надежных интернет-данных, SLM работают с узкоспециализированными наборами информации. Это снижает риск генерации токсичного или ложного контента.
- Пример — Meditron от EPFL, модель, обученная исключительно на медицинских данных из PubMed и клинических руководств.
2. Энергоэффективность и доступность
- SLM требуют значительно меньше вычислительных ресурсов — некоторые могут работать даже на смартфоне.
- Это делает их идеальными для локального использования, особенно в условиях ограниченного интернет-доступа.
3. Безопасность и конфиденциальность
- SLM функционируют в закрытых системах, что исключает утечку данных, в отличие от облачных LLM вроде ChatGPT.
- Например, при обработке медицинских запросов или корпоративной документации SLM не передают информацию на внешние серверы.
4. Точечная адаптация под задачи
- Технология RAG (Retrieval-Augmented Generation) позволяет дополнять модели актуальными данными без полного переобучения.
- В EPFL уже тестируют SLM для административных процессов, расшифровки лекций и анализа медицинских изображений.
Meditron: пример успешного применения SLM
Разработанная EPFL и Йельской школой медицины, эта модель превзошла средние результаты врачей на американских медицинских экзаменах. Ее ключевые преимущества:
- Открытый исходный код — прозрачность и возможность доработки сообществом.
- Локализация данных — включение информации из регионов, традиционно недостаточно представленных в глобальных базах.
- Постоянное улучшение — врачи со всего мира тестируют модель в реальных условиях, повышая ее точность.
Перспективы: персонализированная медицина и не только
Исследователи EPFL и CHUV работают над SLM, способными анализировать ангиограммы для прогнозирования сердечных приступов. В сочетании с данными носимых устройств это может стать основой для персонализированной медицины — при условии надежной защиты конфиденциальности.
Если 2023 год был эпохой больших моделей, то 2025 может стать временем их компактных, безопасных и специализированных аналогов. SLM сочетают в себе эффективность, экономичность и надежность, что делает их оптимальным решением для бизнеса, медицины и науки.
Источник: https://actu.epfl.ch/news/small-model-approach-could-be-more-effective/
Больше интересного – на медиапортале https://www.cta.ru/
