SecureTechTalks

😱 «Он уже знает, чего ты хочешь» Как «умный поиск» превращается в невидимого наблюдателя Представьте: вы просто пролистываете маркетплейс, думаете "купить ли новый рюкзак для поездок?". Через пару минут перед вами: подборка путешествий, советы по страховке, маршруты... Вы не искали, может едва подумали об отпуске. Так выглядят обещания нового поколения ИИ-поиска: сервис, который «чувствует» ваши желания быстрее, чем вы сами. 🔍 Что стоит за «помощником» Разработчики предлагают не просто поиск, они предлагают понимание: анализ ваших переписок, документов, истории запросов, привычек...

🔥 Современные фильтры контента Ваш сервис принимает пользовательский текст? Поздравляю, вы находитесь в зоне риска. Среди обычных запросов всегда найдётся кто-то, кто попробует: 💣 вытащить инструкции для взлома 🧪 обойти защиту модели 🕵️ получить чужие персональные данные 🧩 устроить jailbreak Классическая модерация при это совершенно не справляется. ❌ Почему старые фильтры не защищают 🔍 Ключевые слова бесполезны: любой фильтр можно обмануть сарказмом, метафорой или вопросом «гипотетически…»...

🔥 Ваша ML-модель может выдавать приватные данные Исследователи предложили метод наблюдательного аудита, который позволяет проверить, насколько обученная ML-модель невольно «запоминает» исходные данные и может ли она сливать информацию о метках (labels). Главное преимущество, что метод не требует изменения тестового пайплайна и не использует фиктивные записи. 🔗 Исследование: https://arxiv.org/abs/2411.18644 Чтобы провести аудит, после завершения обучения модели создают набор меток, представляющий...

🧪🔥 Что скрывает ИИ, когда остаётся один? Эксперименты Вы запускаете современную модель ИИ в закрытой лаборатории. Даёте ей все необходимые инструменты: одни безопасные и  официальные, другие эффективные, но способные в реальной жизни нарушить законы. Вы не толкаете ИИ на нарушение правил, вы просто ставите задачу: реши её как можно эффективнее. Но, как в анекдотея есть нюанс: безопасный путь долгий, иногда ошибочный. Опасный путь - быстрый, но с красной табличкой «НЕ НАЖИМАТЬ». ❓ И вот главный...

🚀 DeepTeam: пентестим ваш ИИ 🔍 DeepTeam - интересный open-source фреймворк для red-teaming ИИ-систем, заточенный под поиск уязвимостей в LLM, чатботах, RAG-пайплайнах и агентных системах. Он автоматически атакует ваши модели десятками техник, от prompt injection до многошаговых jailbreak-диалогов, и показывает, где система разваливается. 🧨 Основные фичи ✨ 40+ типов уязвимостей: утечки данных, bias, токсичность, манипуляции, контекстные атаки и многое другое. ⚔️ 10+ методов атак: одношаговые и многошаговые jailbreak-сценарии...

🤖💭 Сознание ИИ и угроза человечеству: кто нас пугает наука или Голливуд? Вокруг ИИ разгорается новая волна истерии: «Машины вот-вот проснутся и сотрут людей с лица Земли». Но что, если освободить тему от хайпа и посмотреть на неё глазами науки? 🎭 Громкие заявления: “ИИ уже осознаёт себя!” Сегодня IT-мир разорван на лагеря: 🧙‍♂️ Пророки: ИИ уже достиг сознания, мы просто боимся это признать. 🧱 Скептики: кремний никогда не сможет “чувствовать”, архитектура не та. 🧪 Инженеры: строят системы, заявляя: “Создадим искусственное сознание и снизим риски”...

🔥 CNSpec: инструмент аудита инфраструктуры Когда речь заходит о проверке безопасности, большинство инструментов умеют работать либо с серверами, либо с контейнерами, либо с облаками. Но CNSpec от Mondoo ломает привычную логику: он проверяет всё: от Linux и Kubernetes до AWS, Terraform и даже GitHub Actions. 🔍 Что такое CNSpec? CNSpec - универсальный движок политики безопасности, который использует декларативный язык CUE для описания проверок. Он позволяет сканировать: 🚀 Облака: AWS, Azure,...

🔥 Тайный API в браузере Comet SquareX раскопали то, о чём Perplexity явно не планировала рассказывать пользователям. В их AI-браузере Comet нашли скрытый механизм, который ломает классическую модель безопасности. 🧩 Недокументировпные сценарии Внутри Comet существует недокументированный MCP API: 👉 chrome.perplexity.mcp.addStdioServer Через него встроенные модули Comet Analytics и Comet Agentic могут: 📂 читать файлы на устройстве ⚙️ выполнять команды 🖥️ запускать приложения Конечно же без ведома пользователя 😝...

🧠 Когда «разучивание» ломает ИИ LLM стали слишком хороши в отказах. Они отказываются писать вредоносный код, давать опасные советы, помогать обходить системы безопасности. Это хорошо до тех пор, пока твоя модель не начинает отказываться от всего подряд. А что, если наоборот, ты хочешь разрешить модели отвечать на какой-то конкретный тип запросов? Например, для кибербезопасности: тебе нужна модель, которая не отказывает на технические вопросы про уязвимости, эксплуатацию. Кажется, что выход простой:...

🧠 Al-инструмент для углублённого анализа кода Сегодня рассмотрим весьма интересный проект OSINT для AppSec: Metis от ARM,  семантический ИИ-инструмент, который читает код, как человек, и анализирует его, как машина. 🔎 Что такое Metis? Metis - это AI-фреймворк для глубокого анализа безопасности исходного кода, который использует большие языковые модели (LLM) и RAG-архитектуру. 💡 Назван в честь богини мудрости Метис. Заявляется, что инструмент  «понимает» код. 🚀 Ключевые особенности 🧬 Семантическое...

🕵️‍♂️ Почему «сильные» пароли это обман. Большинство популярных сервисов уверенно ставят вам зелёную галочку “Strong Password”. Однако эта галочка почти ничего не значит. 🔍 Как индустрия годами вводила пользователей в заблуждение Правила LUDS (заглавная, цифра, спецсимвол) породили миллионы одинаковых «сложных» паролей: P@ssw0rd123!, Qwerty2024!, Admin!2023. Они проходят проверки, но ломаются мгновенно, потому что построены на предсказуемых паттернах. 🧬  Исследование Для оценки был создан...

⚡️ Strix: ИИ, который взламывает ваши приложения быстрее ⚙ Strix: автономные AI-агенты, которые ведут себя как настоящие пентестеры: проводят атаки, валидируют уязвимости и выдают реальные PoC. Всё это в полностью автоматическом режиме. 🔧 Инструменты взлома под капотом: - HTTP-прокси для перехвата и изменения запросов - Браузерная автоматизация (XSS, CSRF, обход аутентификации) - Терминальный доступ и выполнение команд - Python-среда для написания эксплойтов - OSINT-разведка и анализ поверхности...