Нейросеть Perplexity очень часто рекомендуют для поиска и анализа научной информации. Это действительно мощный инструмент. Однако как и с любой нейросетью, важно помнить, что ответственность за результат несем мы, и надо их перепроверять. В этой статье расскажу о своем недавнем опыте работы с Perplexity.
При написании прошлой статьи о принципе Маха я захотела собрать свежую информацию об экспериментальной проверке этого принципа. Но в интернете кроме информации об экспериментах 60-х годов, ничего путного было. Залезла в Perplexity и попросила его дать информацию о более современных данных. Нейросеть выдала, кроме текста, вот такую красивую табличку.
Эта табличка очень меня воодушевила, и захотелось почитать подробнее, попросила нейросеть дать мне ссылки на эти работы. Нейросеть дала несколько ссылок. Я такая обрадовалась, что вот сейчас почитаю, но по ссылкам оказалось, что это совсем другие статьи (на рисунке вывела один из примеров, что нейросеть говорит об авторе Kostelecky, а в статье Jiang и Zhang)
Некоторые ссылки просто не открывались. Я подумала, что дело в ограничениях для российских пользователей, стала заходить через ВПН, но не помогло. Сказала об этом нейросети.
Perplexity извинился и выдал новую порцию ссылок. Но те тоже не заработали. Сделала еще пару запросов в попытке получить работающие ссылки, и снова сеть уверяла, что они работали. Я уже стала думать, что со мной что-то не так. Решила попробовать другой подход. Попросила его указать путь с главной страницы указанного нейросетью сайта.
Нейросеть выдала реалистичный путь. Я просмотрела сайт, но указанных нейросетью разделов не нашла.
И снова "сорян". Я уже потихоньку начинаю раздражаться, но хочется довести дело до конца. Прочитала обзоры последних лет, в которых может быть нужная информация, но ее там не было.
Так вот, удалось припереть ИИ к стенке и выбить признание. Тогда уже усомнишься в изначальных данных.
У меня ушло достаточно много времени, чтобы проверять все ссылки, читать обзоры на английском языке, поэтому я уже не стала давать подробную информацию об этом в своей прошлой статье Дзен. Лучше пусть статья будет голословной, чем с несуществующими данными. Всё-таки Дзен больше развлекательная сеть, и у меня нет обязательств перед Дзен на полноценные научные обзоры, я пишу в основном свои размышления. Но те, кто пишут реальные научные статьи и несет за них ответственность, не должны полагаться на нейросети.
С другой стороны, а что делать, чтобы нейросеть все-таки выдала правильную информацию? Я попробовала найти к ней другой подход. Создала новый чат и сделала другой промпт.
При работе с нейросетями часто требуется дать им роль. В новом промпте я дала нейросети роль кандидата наук. А также разрешила дать отрицательный результат. Теперь нейросеть мне выдала правильные ссылки на статьи в arxiv.org, где действительно есть что-то похожее на релевантные данные. Правда, это уже не описание "простым языком", никаких красивых табличек и ориентировочных цифр. В выданном нейросетью документе почти 200 страниц. Но, как говорится, горькая правда лучше сладкой лжи. По крайней мере, есть возможность прочитать и вытащить что-то для себя. Поскольку я не кандидат наук по теоретической физике (я кандидат по радиофизике), то с ходу я тут не разберусь, мне потребуется много времени, чтобы всё это переварить. Да и мотивации особо нет - я не берусь писать серьезные обзоры по той области, где не являюсь специалистом. Легкость получения информации с помощью нейросетей - это мираж, с ними тоже приходится потрудиться. И позволить нейросети дать отрицательный результат - хорошая стратегия, мне это помогло.
Итак, вывод: на нейросети надейся, а сам не плошай. Чтобы понять, что выдала нейросеть, надо самому быть специалистом и обладать критическим мышлением. И не торопиться. А иначе мы рискуем вместо научного прогресса зафлудить науку кучей непроверенных фактов.
На этом заканчиваю статью. Спасибо всем, кто прочитал до конца!
Текст писала сама, без нейросети.