Вчера прошла встреча с Максимом Акульшиным, за все время трансляции присоединилось порядка 119 участников

Вчера прошла встреча с Максимом Акульшиным, за все время трансляции присоединилось порядка 119 участников. Это была глубокая, но местами «депрессивная» встреча о том, почему синтетические респонденты - не «общество в миниатюре», а хрупкая инженерная конструкция с массой скрытых искажений и рисков.

О чём была встреча:

- Разобрали, зачем вообще нужны синтетические респонденты: рост стоимости поля, падение откликов, усталость людей от опросов, давление по срокам.

- Показали, что LLM способны правдоподобно отвечать на анкеты, но плохо восстанавливают распределения мнений, мотиваций и поведения в реальных популяциях.

- Обсудили три ключевых класса рисков: bias (систематические смещения), model collapse (деградация моделей при работе на синтетике) и feedback loop (когда синтетика начинает менять реальность и подтверждать саму себя).

Что конкретно разобрали

✔️ Как устроен «синтетический респондент»: не только модель, но и промпт, параметры сэмплирования, схема агрегации, фильтрация ответов исследователем - каждый слой вносит свою деформацию.

✔️ Источники bias: смещённый обучающий корпус (интернет, англоязычные, политизированные, пишущие люди), пост‑обучение (RLHF делает модель вежливой, но ещё более усреднённой), стереотипные «роли» в промптах, социально желательные и гиперрациональные ответы, чувствительность к формулировкам и порядку пунктов.

✔️ Эмпирические результаты исследований: синтетика обычно хорошо попадает в средние значения, но сжимает дисперсию, «съедает» хвосты распределения и даёт сильно искажённый анализ подгрупп; модели выбирают ответы по позиции в списке, а не по смыслу.

✔️Model collapse: когда синтетический контент попадает в обучающий корпус, модель всё хуже воспроизводит редкие случаи и всё лучше - усреднённые, создавая красивую, но методически ложную картинку.

✔️ Feedback loop: синтетические инсайты → решения (коммуникация, продукты, отчёты) → изменение поведения людей и контента → это попадает обратно в модели и «доказывает», что они были правы.

Неочевидные выводы

❓ Главный объект измерения в синтетике - не «общественное мнение», а интерфейс генерации, который придумал исследователь; без детального описания модели, промпта, фильтрации и тестов чувствительности данные попросту невалидны.

❓ Чем реже и уязвимее группа (пенсионеры, малообразованные, малые страны), тем сильнее синтетика превращает её не в сегмент, а в карикатуру на медийный стереотип; попытки «дополнить» выборку синтетикой по редким группам чаще ухудшают качество.

❓ Иллюзия точности опаснее случайной ошибки: гладкие, когерентные, «умные» ответы LLM повышают доверие исследователя именно там, где модель системно ошибается - в хвостах и в структуре подгрупп.

✅ Синтетика методически безопасна как инструмент пилотажа, генерации гипотез, стресс‑тестирования анкеты и сценариев, но крайне рискованна как самостоятельный источник количественных выводов.