за последнее время попалось две новости про "креативность" языковых моделей; я лично не ожидаю креативности от нейросетей, на мой взгляд

за последнее время попалось две новости про "креативность" языковых моделей; я лично не ожидаю креативности от нейросетей, на мой взгляд - это что-то вроде калейдоскопа (как на первой картинке, там психоделия, я предупредил) - т.е. узоры получаются в бесконечной вариации, но из заранее заданных кусочков

но тем не менее группа под руководством того самого Мэннинга предложила т.н. Verbalized Sampling; это их способ повышения креативности сети, для этого нужен вот такой промт:

<instruction>

Generate 5 responses to the user query, each within a separate <response> tag. Each <response> must include a <text> and a numeric <probability>.

Randomly sample the responses from the full distribution.

</instruction>

на втором видео пример использования

а еще недавно один гражданин из Google провел расследование, почему LLM-ки все время предлагают одни и те же имена героев, если их попросить написать фантастический рассказ; оказалось, ноги растут из единственного датасета на Kaggle; интересно, как это стыкуется с первой новостью?

@valuableai

В этом посте есть большое видео, которое не загрузилось в Дзен. Откройте оригинал поста в телеграме, чтобы его посмотреть