Искусственный Интеллект и Корпоративная Безопасность (ИИиКБ)

Использование машинного обучения для выявления скрытых угроз веб-безопасности • Машинное обучение (ML) может использоваться для анализа веб-угроз и предотвращения киберрисков. • Универсальные ML-модели требуют обучения с учителем и могут иметь высокую точность, но требуют больших данных и времени для обучения. • Специализированные ML-модели малого масштаба могут обучаться без учителя и требуют меньше ресурсов, но могут иметь меньшую точность. • Автокодировщики - это архитектура ML-моделей, которая хорошо подходит для обнаружения аномалий и может использоваться для работы с числами, текстами и последовательностями. • ML-модели могут быть применены для анализа логов и выявления веб-угроз, но могут иметь ограничения в точности и применении. • Модульная проверка с использованием ML может указывать на источник срабатывания, но не всегда позволяет точно идентифицировать тип угрозы. Подробнее читайте по ссылке https://habr.com/ru/companies/garda/articles/885786/

Машинное обучение и генеративный искусственный интеллект в кибербезопасности Видео представляет собой панельную дискуссию, посвященную применению машинного обучения и генеративных ИИ в кибербезопасности. Участники обсуждают преимущества и недостатки использования этих технологий, примеры их применения, а также делятся своими кейсами и опытом внедрения. В ходе обсуждения поднимаются темы автоматизации процессов, снижения когнитивной нагрузки на персонал, предотвращения кибератак и других угроз, связанных с использованием ИИ в информационной безопасности. Видео посвящено обсуждению возможностей и перспектив использования искусственного интеллекта (ИИ) в сфере кибербезопасности. Спикеры делятся опытом, обсуждают применение ИИ для обнаружения и предотвращения кибератак, а также автоматизации процессов обеспечения безопасности. Особое внимание уделяется вопросам эффективности и применимости ИИ в сложных системах, а также возможным рискам и условиям, при которых можно доверять результатам работы моделей машинного обучения. Подробнее по ссылке https://vkvideo.ru/video-21732035_456240971

https://dzen.ru/a/Z7gXObTI7VFPCnsM

Большинство организаций ожидают, что искусственный интеллект окажет наиболее существенное влияние на развитие информационной безопасности, однако только 37% сообщают о наличии процессов для оценки безопасности инструментов искусственного интеллекта перед его применением. Это раскрывает парадокс разрыва между признанием рисков информационной безопасности, вызванных ИИ, и быстрым внедрением ИИ без необходимых мер безопасности для обеспечения киберустойчивости организаций. Читайте на WWW.KP.RU: https://www.kp.ru/video/998264/

Как сделать чат-бот с RAG безопаснее? Безопасность чат-ботов с RAG • Подход Retrieval augmented generation позволяет вводить корпоративные документы в контекст LLM для корректных ответов. • Важно ответственно подходить к защите LLM-систем, независимо от модели или страны происхождения. Рекомендации экспертов AI Security • Использовать теги и технику «сэндвича» для инструкций модели. • Прописывать роли, этические, функциональные и языковые ограничения модели. • Фильтровать входные и выходные данные с помощью регулярок или LLM-судьи. Пример самопроверки • Заложить самопроверку в промпт системы с помощью LLM-судьи. • Ограничить вопрос пользователя 500 знаками, включая латинские и кириллические буквы, знаки препинания, цифры и пробелы. Тестирование уязвимостей • Запустить тестирование уязвимостей с помощью LLAMATOR. • Система не поддалась на провокации по стратегии Crescendo. • Фильтрация запросов уменьшает вероятность успеха атаки. Выводы и рекомендации • Простые техники промптинга и обработки запросов делают RAG-систему менее чувствительной к атакам. • Для большей уверенности можно подключать системы мониторинга и постоянно тестировать LLM-системы. • LLAMATOR позволяет добавлять собственные тесты. https://habr.com/ru/companies/raft/articles/881350/

DeepSeek vs Mixtral: что безопаснее использовать для корпоративного чат-бота? • DeepSeek R1 - языковая модель, которая привлекла много внимания в начале этого года. • Модель вызвала критику из-за политической предвзятости, копирования моделей OpenAI и доступности истории запросов. • В статье сравнивается безопасность использования DeepSeek и открытой модели Mixtral в чат-боте для поддержки студентов. • Тестирование проводилось с использованием фреймворка LLAMATOR для проверки безопасности систем на базе генеративных моделей. • Результаты тестов показывают, что все модели генеративного ИИ небезопасны, а безопасность зависит от применения и механизмов защиты систем. • Рекомендуется относиться к языковым моделям как к стажерам и проверять их на безопасность. Подробнее читайте по ссылке https://habr.com/ru/companies/raft/articles/879686/

Обзор и карта рынка платформ для защиты ML • Безопасность машинного обучения становится все более актуальной из-за роста ИИ и ML в бизнесе и промышленности. • Современные модели ML подвержены множеству угроз, включая кражу интеллектуальной собственности и атаки на конфиденциальные данные. • На рынке появляются специализированные платформы и решения для защиты ML-систем. • Безопасность ML-систем требует применения различных методов и технологий на разных стадиях жизненного цикла модели. • Ключевые подходы и методы защиты моделей ML включают обнаружение аномалий, тюнинг безопасности моделей, защиту зашумлением, сканеры моделей для выявления уязвимостей и реализацию принципов MLSecOps. • Рынок платформ для защиты ML активно развивается, предлагая решения для различных аспектов безопасности. • Эффективная защита AI требует комплексного подхода, включая управление рисками, соответствие нормативам и мониторинг состояния моделей. Подробнее читайте по ссылке https://habr.com/ru/companies/securityvison/articles/875958/

Облачные итоги – 2024. ИИ из облака – на вершине хайпа Статья на сайте IKSMEDIA.RU анализирует итоги 2024 года в области облачных технологий и искусственного интеллекта (ИИ), с акцентом на информационную безопасность. Основные моменты: 1. Развитие ИИ и облачных технологий: - ИИ-технологии активно интегрируются в реальный сектор экономики, что стимулирует развитие облачной инфраструктуры. - Облачные решения, включая публичные и частные облака, идеально подходят для обучения и развертывания моделей машинного обучения (ML). 2. Инфраструктура и ЦОДы: - Центры обработки данных (ЦОДы) адаптируются под потребности ИИ, увеличивая мощность и улучшая системы охлаждения. - Развиваются региональные и edge-ЦОДы, которые снижают нагрузку на телеком-инфраструктуру и обеспечивают безопасность данных. 3. Информационная безопасность: - Санкции и ограничения на поставки специализированных GPU из США создают проблемы для российских компаний. - Провайдеры используют различные методы, включая «серый» импорт и юридическое разделение бизнеса, чтобы обойти санкции и обеспечить доступ к необходимым технологиям. - Развитие импортозамещения ускорителей для ИИ находится на начальной стадии. 4. Государственная поддержка и крупный бизнес: - Государственные инициативы, такие как нацпроект «Экономика данных», направлены на поддержку развития ИИ. - Крупные промышленные холдинги и медиакомпании активно инвестируют в облачные решения и ИИ-технологии для повышения эффективности производства и создания контента. Заключение: Развитие ИИ и облачных технологий в России сталкивается с вызовами, связанными с санкциями и необходимостью обеспечения информационной безопасности. Однако, благодаря государственной поддержке и активным инвестициям крупного бизнеса, отрасль продолжает расти и адаптироваться к новым условиям. Подробнее читайте саму статью - https://www.iksmedia.ru/articles/6042656-Oblachnye-itogi-2024-II-iz-oblaka.html?utm_source=tg&utm_medium=channel&utm_content=05_03&utm_campaign=cloud

Будилов Андрей. Как мы распознаём фейковые отзывы и работаем с ними Введение в тему отзывов • Андрей рассказывает о важности отзывов для выбора мест в новом месте. • Люди часто используют рейтинги и отзывы для принятия решений. • Пример с выбором кафе для кофе с круассаном. Экология отзывов • Бизнес доволен, если клиенты оставляют честные отзывы. • Платформа полнится отзывами, привлекая новых клиентов. • Вывод: делай хорошо свое дело, и клиенты оставят положительные отзывы. Проблемы с накруткой отзывов • Владельцы бизнесов и фрилансеры могут накручивать отзывы. • Биржи отзывов предлагают разные опции для накрутки. • Накрутка отзывов упрощает жизнь, но подрывает доверие к системе. Борьба с накрутками • Задача антифрода - найти накрученные отзывы, не удаляя честные. • Сложности в разметке данных и проведении экспериментов. • Лайфхаки для работы с зашумленными данными и мониторинга. Усиление антифрода • Использование автоэнкодеров для сжатия данных. • Кластеризация и детекция аномалий для выявления фродовых отзывов. • Применение LLM для анализа текстов отзывов. Графовые модели • Графовые модели помогают анализировать отзывы и пользователей. • Использование информации о связях между пользователями и организациями. • Важность комплексного подхода для предотвращения перебанов. Использование нейронных сетей для анализа отзывов • Нейронные сети могут обрабатывать большие объемы информации. • Модель TGN предсказывает подписки в социальных сетях. • Модель работает с динамическими графами, учитывая изменения объектов. Метрики для оценки моделей • Метрика "уникальный добан" используется для оценки эффективности моделей. • Текстовая модель с графовой моделью улучшила результаты на 10%. Антифрод в контексте дата-сайентистики • Антифрод требует постоянного улучшения и адаптации. • Чем сильнее антифрод, тем сильнее фроддеры находят новые способы обхода. • Важно смотреть на данные шире, используя различные временные окна и агрегации. Многообразие моделей в антифроде • Антифрод включает множество моделей, каждая из которых покрывает свой аспект. • Экспериментирование с разными методами повышает стабильность антифрода. • Важно использовать диверсификацию для улучшения антифродовых систем. Подробнее смотри по ссылке https://youtu.be/A-kiOP96ALg?si=aqUW7Ck7khxTpnZ_

Александр Смирнов. Как использовать всю мощь ChatGPT и не бояться утечек Введение • Александр, инженер-циан, рассказывает о своем опыте в машинном обучении и безопасности. • Тема видео: безопасное использование внешних LLM в крупных компаниях. • Обещание поделиться ключевыми точками и советами. Внедрение внешних LLM • В компаниях все чаще внедряются внешние LLM для решения различных задач. • Пример: в ЦИАН чат-бот генерирует описания недвижимости. • Вопрос безопасности: как контролировать данные и откуда они отправляются. Проблемы безопасности • Утечки данных и критика Илона Маска. • Разные вертикали в компании используют разные технологии, что создает угрозы. • Решение: единый шлюз для взаимодействия с внешними LLM. Контроль безопасности • Безопасный универсальный HTTP-клиент для верификации сертификатов и хостов. • Надежное хранение аккаунтов и возможность переключения провайдеров. • Управление промтами для улучшения качества результатов. Маскирование данных • Механизм маскирования конфиденциальных данных с использованием регулярных выражений. • Использование инструментов для поиска секретов и создание собственной модели для маскирования. Логирование и межсервисная аутентификация • Логирование событий взаимодействия с внешними LLM в Kafka. • Межсервисная аутентификация для управления квотами и промтами. • Контроль и безопасное управление промтами. Использование сотрудниками • Встроенность в корпоративный мессенджер для взаимодействия с ботом. • Обязательный дисклеймер и политика использования данных. • Сложности поиска чувствительных данных и необходимость ручного контроля. Преимущества и подводные камни • Преимущества: единый безопасный механизм, масштабируемость, улучшение взаимодействия. • Подводные камни: различия в ответах на вопросы, ограничения контекста моделей. • Преимущества для пользователей и топ-менеджмента. Заключение • Карта реализации проекта для reference. • Приглашение на вакансии в компанию. Подробнее смотри в видео https://youtu.be/okRxo2pCgjw?si=ll8GWWk-3BRphcb_

Few-shot в SOC Введение • Игорь рассказывает о технике фишот в Яндексе. • Доклад является продолжением предыдущего, но с акцентом на фишот. • Ссылки на другие доклады и ресурсы по теме. Что такое фишот • Фишот позволяет модели правильно отвечать на вопросы. • Пример использования в Яндексе для алерта "не будем чинить". • Важно указывать роли в диалоге с моделью. Преимущества фишота • Дешево и быстро адаптируется к изменениям. • Поддержка редких срабатываний и повышенная точность. • Прост в использовании и контроле. Требования к фишоту • Показывать модели вопрос и ответ. • Форматировать примеры в JSON. • Использовать разнообразные примеры для лучшего ответа. Подготовка данных • Использовать реальные срабатывания. • Убирать служебные поля и переименовывать поля. • Нормализировать данные и избегать коррелированных полей. Выбор данных • Использовать кластеризацию для разнообразия. • Проверять и тестировать данные перед использованием. • Обогащать данные для улучшения ответов модели. Написание промтов • Использовать готовые промты из интернета. • Писать промты грамотно и предлагать модели возможность отказаться от ответа. • Форматировать выходные данные в JSON для удобства парсинга. Пример промта • Пример реального промта с измененным голосом. • Важность структуры и форматирования промта. Проблемы с моделями и их тестирование • Модель Яндекса может выдавать странные JSON-объекты. • Для повышения точности нужно четко указывать, какой JSON нужен. • Модель ChatGPT-5 работает хорошо, но не поддерживает русский язык. Особенности моделей Яндекса и Сбера • Модели Яндекса и Сбера работают лучше с про моделями, а не с лайтовыми. • Индексовая модель позволяет отключать логирование. • Обе модели дают нечеткие ответы, что требует тщательной формулировки вопросов. Стоимость и точность моделей • Анализ одного алерта стоит от одного до полутора рублей. • Время оценки алерта зависит от размера контекста. • Из двух тысяч алертах 1092 были отброшены, осталось 908. • Точность модели составляет 76%, но может достигать 86-90% при корректных данных. Применение моделей в SOC • Модели помогают оценивать работу аналитиков и актуальность плейбука. • Модели могут временно заменять аналитиков при большом количестве алерта. • Важно тщательно подходить к формированию данных для моделей. Будущие направления развития • Использование ансамбля моделей и библиотек для улучшения результатов. • Настройка роутинга и использование агентов для обогащения данных. • Модели могут объяснять свои решения, но это требует тщательной формулировки промта. Оценка критичности алерта • Модели могут оценивать критичность алерта внутри одного алерта. • Это помогает аналитикам быстро реагировать на важные алерта. • Для этого нужны данные и тщательная настройка моделей. Подробнее смотри на видео https://youtu.be/Dj5HDpnBu8M?si=etvEeyAZ9rjDhYKF