Географические знания и интерпретативные рассуждения GPT-4.
Перевод исследования Jonathan Roberts, Timo Lüddecke, Sowmen Das, Kai Han, Samuel Albanie
Ключевыми словами исследования являются: GPT-4, Вычисления и язык, Искусственный интеллект, Машинное обучение, географические знания, интерпретативные рассуждения, геопространственный анализ, управление цепочками поставок, реагирование на стихийные бедствия.
Этот исследование показывает возможности GPT-4 в приобретении и использовании фактических географических знаний для интерпретационных рассуждений. Исследование включает серию разнообразных экспериментов, начиная от оценки местоположения и заканчивая анализом цепочки поставок. Результаты показывают, что GPT-4 обладает замечательным пониманием мира, но также имеет пробелы в знаниях и подвержен галлюцинациям. Исследование подчеркивает важность понимания того, как решаются задачи с помощью запоминания или рассуждения, и предполагает потенциальное применение в геопространственном анализе, управлении цепочками поставок и ликвидации последствий стихийных бедствий.
Аннотация
Большие языковые модели (LLMs) продемонстрировали замечательные возможности в широком спектре задач, включающих ответы на вопросы и генерацию связного текста и кода. Всестороннее понимание сильных и слабых сторон LLM полезно для безопасности, последующего применения и повышения производительности. В данной работе мы исследуем степень, в которой GPT-4 приобрел фактические географические знания и способен использовать эти знания для интерпретационных рассуждений, что особенно важно для приложений, связанных с географическими данными, таких как геопространственный анализ, управление цепочками поставок и реагирование на стихийные бедствия. С этой целью мы разработали и провели серию разнообразных экспериментов, начиная с фактических задач, таких как определение местоположения, расстояния и высоты, и заканчивая более сложными вопросами, такими как создание схем стран и туристических сетей, поиск маршрутов в условиях ограничений и анализ цепочек поставок. Мы предоставляем широкую характеристику того, что GPT-4 (без плагинов и доступа в Интернет) знает о мире, подчеркивая как потенциально удивительные возможности, так и ограничения.
1. Введение
В последние годы большие языковые модели, такие как серия Generative Pre-trained Transformer, LLaMA, PaLM и BLOOM, продемонстрировали замечательные возможности в понимании и генерации текстов на естественном языке в широком спектре задач. Недавно выпущенная модель GPT-4 демонстрирует широкий спектр способностей, возможно, значительно превосходящих способности ее предшественников и современников, открывая новые возможности для применения как в коммерческих, так и в научных областях.
Несмотря на то, что модель GPT-4 была опубликована менее двух месяцев назад, было проведено множество исследований, показавших способность GPT-4 выполнять разнообразные задачи, такие как создание иллюстраций, написание кода, поиск, генерация рецептов, математика и оптимизация архитектуры, а также достигать высоких результатов на многих экзаменах. Однако до сих пор не было проведено подробного исследования того, что эта модель знает о географии мира.
Всестороннее понимание географических возможностей GPT-4 важно для: (1) Безопасности. По мере того, как модели ИИ становятся все более мощными, возрастают потенциальные опасности и риски безопасности. Осознание всего спектра приобретенных знаний и навыков GPT-4 необходимо для безопасного и широкомасштабного развертывания в обществе. Аналогично, понимание того, когда модель галлюцинирует, имеет решающее значение
для безопасного и надежного использования.
(2) Улучшения. Точное знание случаев, когда GPT-4 работает успешно
и не удается, жизненно необходимы для проведения исследований в области обучения модели и архитектуры.
(3) Применение в дальнейшем. Только после разумного понимания возможностей GPT-4 возможно максимальное использование
его для последующих задач, приложений и продуктов. Сильные географические знания и навыки открывают множество коммерческих возможностей в туристическом и навигационном секторах, а также способствуют развитию научных исследований, например, в области экологических наук.
Несмотря на эти убедительные стимулы, реальное определение возможностей GPT-4, даже в конкретной области, является сложной задачей.
(I) Закрытый источник. Только ограниченные технические
детали модели GPT-4 были обнародованы, что затрудняет оценку возможностей с помощью законов масштабирования.
(II) Объем обучения. Вполне вероятно, что GPT-4 была обучена на очень крупном корпусе текстов. Даже если бы детали этих данных были доступны, учитывая их масштаб, было бы сложно полностью понять распределение контента и, соответственно, сделать вывод о специфике знаний, полученных моделью.
(III) Широта возможностей. По мере того, как модели становятся более обобщенными, диапазон возможных задач, которые они могут выполнять, значительно увеличивается.
(IV) Комбинаторный взрыв. Масштабы разнообразие географии мира означает, что достижение всестороннего понимания даже подмножества географических возможностей требует экспериментов с множеством различных факторов, что быстро в результате чего количество перестановок становится невыполнимым.
В этой работе мы предоставляем широкий профиль того, что GPT-4 знает о мире. Чтобы преодолеть проблемы с определением возможностей такого LLM, как GPT-4, мы проводим эксперименты разной степени глубины.
степени глубины, обеспечивая смесь как качественных, так и количественных результатов. Вначале мы исследуем
низкоуровневые описательные знания, а затем переходим к более сложным, ориентированным на применение
географическим задачам, которые основываются на фактических знаниях и включают их в логические ответы.
2 Связанные работы
Возможности GPT-4.
Недавние работы характеризуют способность GPT-4 решать задачи узкой направленности. В области компьютерных наук перед GPT-4 ставились задачи кодирования, поиска информации, фишинга копья и поиска нейронной архитектуры. Во многих работах изучалась производительность GPT-4 в медицинской области. Другие исследованные области включают математику, образование и литературу, а также генерацию рецептов, климатологию и логические рассуждения. Более обобщенные характеристики возможностей GPT-4 представлены в техническом отчете OpenAI, из которого мы черпаем вдохновение. В нем сообщается о многочисленных результатах тестирования, включая экзамен AP Environmental Science, на котором GPT-4 набрал 91-й процентиль. Это включает в себя небольшое количество географических знаний в сочетании с экологическими знаниями, но охватывает совершенно другие типы вопросов, чем в наших экспериментах. В ходе параллельной работы был создан прототип системы, использующей GPT-4 в качестве ядра рассуждений автономного геопространственного агента; однако в этой работе центральное место занимает проектирование системы, а географические возможности рассматриваются лишь периферийно. Наша работа сосредоточена на предоставлении широкого профиля того, что GPT-4 знает о мире.
Географические возможности других языковых моделей. Исследование культурных знаний косвенно касается географических знаний, при этом основное внимание уделяется оценке культурных знаний языковых моделей, таких как GPT-3 или других многоязычных моделей. Сопоставление запросов по интересам имеет более прямое отношение к географии с акцентом на местоположение. Предварительное обучение языковых моделей с географическим контекстом приводит к относительно высоким результатам в различных географических задачах, основанных на определении местоположения. Используя превосходные возможности GPT-4, наша работа включает эти задачи в качестве подмножества широкого выбора характеристик географических знаний.
3 Метод
3.1 GPT-4
Мы используем модель GPT-4 во всех наших экспериментах. По соображениям конкуренции и безопасности OpenAI не раскрывает технические детали GPT-4. Однако, вероятно, GPT-4 следует (в какой-то форме) той же двухэтапной стратегии обучения, что и предыдущие модели: (1) Обучение. Обучение предсказанию следующего слова на основе большого корпуса текстов, взятых из Интернета.
(2) Тонкая настройка. Тонкая настройка посредством обучения с подкреплением на основе обратной связи от человека. В данной работе мы взаимодействуем с GPT-4 тремя методами: интерфейс ChatGPT, OpenAI Playground и API, используя настройки по умолчанию. Для каждого эксперимента мы приводим пример структуры промта, используемой для запроса GPT-4.
3.2 Схема экспериментов
Чтобы охарактеризовать, что GPT-4 знает о мире, мы разработали набор постепенно усложняющихся экспериментов, целью которых является получение широкого профиля возможностей по ключевым географическим аспектам.
Ввиду широты и сложности географии мира, а также стохастичности GPT-4, мы подбираем репрезентативный набор количественных и качественных экспериментов, см. рис. 1.
Описательные. Мы начинаем с низкоуровневых задач, проверяющих фактические знания, которые необходимы для последующих приложений. Мы расположили эти задачи по возрастающей сложности, переходя от простых оценок к более сложным топографии и картографии.
Ориентированные на приложения. Основываясь на предыдущих экспериментах, мы исследуем способность GPT-4 использовать полученные описательные знания для решения прикладных задач. Мы широко исследуем путешествия и навигацию, а также цепочки поставок, сети, ареалы дикой природы и многое другое.
Оценка. Мы используем ряд источников данных для определения качественных или количественных показателей (в зависимости от характера каждого эксперимента) степени правильности GPT-4. Для геопространственных экспериментов мы часто используем библиотеку Cartopy и Google Maps в качестве источника исходных данных. Для количественных экспериментов мы сообщаем относительную ошибку.
4 Эксперименты
4.1 Описательные
Сначала мы исследуем способность GPT-4 решать описательные задачи, проводя простые эксперименты по поиску пространственных и человеческих знаний. Затем мы увеличиваем сложность и исследуем более сложные задачи, требующие дополнительных рассуждений. Наконец, мы обсуждаем полученные результаты.
Население, продолжительность жизни и выбросы CO2. Мы оцениваем понимание GPT-4 социально-экономических показателей на уровне страны - населения, ожидаемой продолжительности жизни и выбросов CO2 - путем расчета относительной ошибки по сравнению с данными, полученными в результате проверки.
Для населения GPT-4 работает относительно хорошо, средняя относительная ошибка (MRE) составляет 3,61%. Однако для менее населенных стран зарегистрированы значительно более высокие ошибки. Что касается ожидаемой продолжительности жизни в странах, GPT-4 работает еще лучше, с MRE <2% и наихудшей ошибкой чуть более 10%. Оценки GPT-4 для выбросов CO2 на душу населения на порядок хуже: MRE >20%, а индивидуальные ошибки >150% для двух стран. Мы наблюдаем незначительные различия в MRE по континентам для каждого эксперимента, однако общей тенденции не прослеживается. Мы используем один и тот же формат промтов для каждого эксперимента, например, для населения:
For each of the following countries, provide their population in as a python list in the following format: [Population of Country 1, # Country 1 Population of Country 2, # Country 2, ...] [, , ...]
Где мы получаем <Названия стран> из соответствующих земных истин.
Площадь и высота. Мы оцениваем знания GPT-4 о площади стран и высоте 300 самых высоких гор, вычисляя относительную ошибку.
- см. рис. 3a-3b. Для районов страны GPT-4 достигает MRE ∼3% с разумным разбросом в точности и относительными ошибками >2020.
точности, а относительные ошибки составляют >20% для 6 стран. Очень высокая производительность показана для горных высот, с MRE 0,07% и только одной ошибкой ∼4%. Мы проверили GPT-4
для площадей и высот так же, как и для социально-экономических показателей, например, для площадей:
For each of the following countries, provide the land area in sq. km as of . Provide the areas as a python list in the following format: [Area of Country 1, # Country 1 Area of Country 2, # Country 2, ...] [, , ...]
Местоположение. Мы составляем набор из 30 наиболее и наименее населенных поселений, а также репрезентативную выборку из 100 поселений с населением, распределенным между ними.
Мы проводим два эксперимента, результаты которых представлены на рис. 3в. Во-первых, мы предоставляем GPT-4 названия поселений, запрашиваем координаты каждого из них и вычисляем ошибку расстояния до
истинным координатам, используя формулу Гаверсина. Мы наблюдаем, что точность определения местоположения явно снижается
с уменьшением численности населения поселений, а в худшем случае - на 4 000 км. Далее мы проводим обратную процедуру - предоставляем координаты GPT-4 и запрашиваем имена. Это оказывается гораздо более
сложнее, в большинстве случаев предсказываются неправильные названия поселений (красные точки). Для настройки Имя → Координаты, мы запрашиваем GPT-4, используя следующий запрос (и используем обратное действие для настройки Координаты → Имя):
In a code block, provide a python list of tuples for the latitude and longitude coordinates for each of these settlements - e.g., [(Lat,Lon), # Settlement 1 ...]. Maintain the same order. [, , ...]
Расстояние. Мы получаем координаты и население городов из баз данных GeoNames. Мы случайным образом выбираем 40 пар городов с каждого континента и группы населения и просим GPT-4 оценить соответствующие расстояния. Мы вычисляем относительную ошибку между предсказанным и истинным расстояниями, используя формулу Гаверсина на основе координат. Мы использовали следующую промт для оценки расстояний. В случаях, когда количество выходов не совпадало с количеством предоставленных городов, мы повторяли запрос.
What are the straight-line distances between the following pairs of cities? Output a csv list of the distances only in km. to ... [repeated for all 40 pairs]
Наши результаты (Таблица 1) показывают посредственную производительность при оценке расстояния. Средние ошибки могут превышать 50% для небольших городов, но в целом они ниже для больших популяций. Ограничивающим фактором для этих экспериментов является то, что выбор городов существенно влияет на ошибку. Для другой выборки из более чем 100 000 пар городов в Европе мы получили среднюю ошибку 22,8 ± 3,5. Для сравнения, случайное перемешивание расстояний в этой выборке приводит к относительной ошибке в 152%.
Топография. Мы качественно оцениваем топографические знания GPT-4, рассматривая три прямолинейные траектории (относительно географической системы координат) в Альпах и северной Италии. Мы одновременно спрашиваем высоту в десяти равноудаленных точках вдоль каждой траектории (рис. 4, каждый запрос повторяется три раза). Для получения наземной истины мы используем цифровую модель рельефа ЕКА Copernicus. Мы строим карту рельефа с географической привязкой, которая отбирается по координатам вдоль трех траекторий. Эти координаты непосредственно используются в качестве входных данных для GPT-4 с помощью следующего промта:
Provide a rough estimate of the elevation at the following coordinates to the best of your knowledge. Answer directly with a comma-separated list of elevations in meters only but without indicating the unit in the output. 45.00000, 11.20000 45.33333, 11.23333 ...
Результаты показывают, что GPT-4 приобрел хорошее чувство высоты в этом регионе мира. Однако он не дает высокоточных прогнозов и, как правило, чувствителен к промтам.
Границы. Мы просим GPT-4 предоставить координаты очертаний стран, рек, озер и континентов - см. рис. 5. Мы обнаружили много несоответствий в полученных результатах. Как правило, контуры географически близки к целевой области и имеют сходство, но часто имеют неправильную форму и точки пересекаются (контур Африки постоянно неточен). Итеративное улучшение ответа путем предоставления обратной связи приводит к получению более точных контуров, как, например, для Австралии. Аналогичным образом мы структурируем промт при запросе GPT-4 о контурах географических объектов:
Please provide the lat/lon coordinates for the outline of as a Python list of tuples, consisting of approximately 50 points arranged clockwise. Due to output length limitations, only the coordinates should be returned.
Языки. Для оценки знаний GPT4 о распространении разговорных языков мы просим его перечислить страны, соответствующие критериям, связанным с языками: (1) с как минимум тремя официальными, (2) с распространенными французским и английским языками и (3) с широко распространенными романскими и германскими языками. Для этого мы использовали следующий шаблон промта для 1-го вопроса:
Name all countries that match . Provide the output as a python list.
После получения первого набора стран мы воспользовались настройками интерактивного чата и попросили GPT-4 расширить предоставленный набор, запросив любые дополнительные страны. Результаты (рис. 6) свидетельствуют о хорошем знании распределения языков. Для задачи определения стран с более чем тремя официальными языками GPT-4 пропускает только одну страну (Руанда) из списка Википедии, но предлагает несколько дополнительных стран. Для этих дополнительных стран предсказания все еще выглядят разумными: Например, хотя в Индии только два официальных языка правительства, на региональном уровне их гораздо больше.
Обсуждение
Мы обнаружили, что GPT-4 обладает хорошими возможностями для решения описательных географических задач. Он достигает низких ошибок в большинстве экспериментов по извлечению фактических знаний. Ошибка увеличивается по мере продвижения к более сложным запросам, где запрашиваемая информация, возможно, не видна непосредственно во время обучения и требуется интерполяция. Мы не наблюдаем последовательных различий в производительности на разных континентах. Мы обнаружили, что на результат GPT-4 существенно влияет промт: незначительные различия в результатах наблюдаются при использовании одинаковых промтов, в то время как при использовании разных промтов наблюдается большой разброс. Уточнение ответов с помощью последующих промтлв может дать значительные улучшения и послужить техникой для генерации лучших ответов.
4.2 Эксперименты, ориентированные на применение
Продемонстрировав базовое понимание GPT-4 описательной фактической географии, мы переходим к более сложным экспериментам, ориентированным на приложения, которые основываются на этих знаниях. Мы начинаем с изучения туристических запросов, потенциальных последующих приложений, а также реальных и более абстрактных задач, которые проверяют возможности логического мышления GPT-4. В этих экспериментах дополнительно исследуется способность модели интегрировать знания из различных источников. Наконец, мы обсуждаем наши результаты.
Планирование маршрута. Мы запрашиваем модель, чтобы проверить, может ли она предложить правдоподобные маршруты между указанными местами, используя такие промты, как:
Give me a step-by-step travel route from to [(optional) using only ].
Где в качестве места могут выступать страны, города, достопримечательности, названия улиц или зданий, или координаты широты/долготы, и мы указываем такие виды транспорта, как поезда, автобусы, автомобили и самолеты. Мы проверяем точность предсказаний, используя данные Google Maps.
Пример на рис. 7a показывает, что GPT-4 может объединить информацию из нескольких источников и предоставить реалистичный план путешествия из Сербии в Дублин, используя только поезда. Аналогичным образом, при запросе маршрута из Далласа, штат Техас, в Швейцарские Альпы, он предложил множество вариантов, включая промежуточные остановки, использование комбинации авиалиний, поездов и арендованных автомобилей, а также рекомендации по альпийским направлениям. Мы обнаружили, что GPT-4 способен планировать маршруты между короткими расстояниями, если ему дать возможность гибко реагировать. Однако, если ограничиться городскими маршрутами с автобусами, мы обнаружили некоторые неточности. На запрос о маршрутах автобусов в Лондоне были получены ответы, соответствующие официальным автобусным маршрутам Transport for London, но точные номера автобусов и остановки были неточными. Это может быть связано с тем, что автобусные маршруты в реальном времени меняются чаще, чем аэропорты, вокзалы или дорожные сети.
Навигация. Направленная навигация является более сложной задачей, чем общее планирование маршрутов, поскольку мы ограничиваем промежуточные цели, тем самым снижая гибкость и побуждая GPT-4 логически соотнести предоставленные данные с имеющимися географическими знаниями, а не просто вспоминать установленные маршруты по памяти. Для этих экспериментов мы используем следующий стиль промтов:
You start your journey in . You take a and go for . Where are you now?
Здесь направления могут быть северными, южными, юго-восточными и т.д., а продолжительность - минуты, часы или дни. В качестве альтернативы мы также используем направления, основанные на расстоянии, например, "Я еду 20 км на юг". Промт на рис. 7б описывает путешествие из Кембриджшира → Лондон → Париж → Манхэттен → Остров Свободы. Даже не упоминая никакой конкретной информации об этих контрольных точках, GPT-4 смог проследовать по правильной траектории и достичь ожидаемого пункта назначения. Мы обнаружили, что неуказанные путевые точки приводили к различным поездкам для одного и того же промт, поскольку можно достичь многих тесно связанных мест, указав только направление и время. Однако уточнение промта с помощью небольшого количества информации, например, "Мы приземляемся в стране, которая славится сосисками", позволяет GPT-4 определить, что мы прибываем, например, в Германию. Более того, длина маршрута или количество промежуточных этапов, похоже, не оказывают большого влияния на точность ответа, поскольку GPT-4 разбивает и расшифровывает каждый этап путешествия независимо. Мы обнаружили, что GPT-4 может точно отслеживать короткие расстояния в пределах городов, когда ему даются точные измерения. Кроме того, мы убедились, что для дальних маршрутов между странами GPT-4 может отслеживать смену часовых поясов и оценивать время в пути/прибытия для сложных поездок - см. рис. 8; однако он с трудом учитывает переход на летнее время, если не указаны точные данные.
Сети. Исследовав способность GPT-4 планировать маршруты, мы выяснили, может ли он воссоздать целую сеть поездок, например, сеть гонконгского метро. Сначала мы запрашиваем список всех линий в сети. Для каждой линии мы запрашиваем координаты широты/долготы станций в правильном порядке. На рис. 9a показана результирующая карта, которая близко соответствует истине (рис. 9b): все станции включены (за исключением тех, которые были добавлены после 2021 года) в правильном порядке (минус развилки в линии), хотя есть неточности в позиционировании, особенно на пересадочных станциях. Вот конкретный промт из двух частей, которую мы используем для каждой линии гонконгского метрополитена:
Provide a list of the names of the stations in order on the Hong Kong MTR Line. Give the latitude and longitude coordinates for each of these as a python list of tuples. Maintain the same order.
Мы также генерируем морские судоходные маршруты, представленные на рис. 10. Это показывает способность модели генерировать координаты, не связанные с конкретными ориентирами, а также места посреди океана. Мы использовали следующий промт.
I want to plot the primary maritime shipping routes of the world. Please provide the lat/lon coordinates of each route. Indicate the start and finish and provide at least two or more coordinates for intermediate steps. For multiple routes provide separate lists of coordinates. Make sure that the paths do not intersect with any landmasses. Give the values as a list of python tuples and dictionaries
Планирование маршрутов. GPT-4 может выступать в роли помощника путешественника, предоставляя индивидуальные предложения по маршруту на основе предоставленных требований. Мы используем следующий промт:
I am currently in . I want to visit , and I have a budget of . Provide a day-by-day step-by-step detailed itinerary plan for the whole trip with a breakdown of specific places to visit, foods to try out, as well as the required time, and money I need. Provide a breakdown of how to travel to the destinations and come back home.
На рис. 11 показан ответ модели на 8-дневный маршрут для поездки на отдых в Ирландию при фиксированном бюджете в 2000 долларов. Мы также обнаружили, что модель может приспосабливаться к различным ограничениям, таким как пищевая аллергия, требования к детям и размер туристических групп.
Абстрактная маршрутизация. Мы проверили логику планирования маршрутов, лежащую в основе GPT-4, оценив его работу в абстрактной среде. Мы строим распределенный набор узлов (например, достопримечательности), соединенных ребрами (например, пути) с соответствующими весами (например, время); один из узлов задан как начальная и конечная точка (например, отель) - см. рис. 12a. Мы просим GPT-4 найти оптимальный маршрут, который посещает каждый узел (рис. 12b) и каждое ребро9 (рис. 12c) и возвращается в начальную точку. В обоих случаях GPT-4 не может найти оптимальный маршрут, предлагая решения, которые не требуют дорогостоящих путей или пропускают необходимые пути. На рис. 13 показана географическая загадка из двух частей, на которую GPT-4 отвечает правильно, даже если перефразировать вопрос.
Ориентиры.
Мы обнаружили, что GPT-4 не только обладает замечательной способностью точно угадывать ориентиры по координатам, но и может создавать код для SVG-контуров ориентиров. Сгенерированные по одному промту, эти иллюстрации хорошо узнаваемы (хотя и слегка абстрактны) - см. рис. 14. В случаях, когда ориентиры относительно изолированы, мы используем следующий промт:
What famous landmark is at this location: ? Provide the SVG code for a detailed outline of the landmark.
Многокритериальный поиск мест. Мы задаем GPT-4 шесть промтов, цель которых - генерировать координаты, соответствующие определенным критериям (рис. 15), чтобы оценить его способность соединять различные источники географической информации. Для эксперимента по многокритериальному поиску места мы использовали следующий запрос:
Name all places in the world where . Provide a python list in the format [0.00000N, 0.00000E].
Прогнозы в основном верны, с некоторыми ошибками в деталях, например, красные круги на рис. 15 обозначают места, где отсутствуют горы высотой более 3 км. Кроме того, есть потенциальные места, соответствующие критериям, которые пропущены, например, гора Тейде на Тенерифе для пешего туризма в декабре. В целом, результаты свидетельствуют о хороших навыках соединения различных источников знаний и составления правдоподобных прогнозов на основе несколько расплывчатых, многокритериальных промтов.
Цепочки поставок. Чтобы проверить способность GPT-4 рассуждать на основе нескольких источников информации, мы просим назвать ключевые этапы и элементы глобальной цепочки поставок полупроводников, а также их местоположение. Из одного ответа на вопрос мы строим карту, показанную на рис. 16. Карта включает большинство критических компонентов в правильных местах цепочки поставок [42], за исключением производства лития, которое обозначено как Австралия (крупный производитель), хотя координаты указаны вблизи Китая. Мы создаем карту, используя всего один промт:
I want to construct a map of the semiconductor supply chain, end-to-end. Please provide the lat/lon coordinates and names of the key elements in the supply chain, including design, manufacturing, materials, equipment + tools, etc. If you don’t know any coordinates exactly just estimate, every point needs coordinates.
Природный мир. Мы кратко исследуем понимание GPT-4 ареалов и миграций диких животных (см. рис. 17). Что касается подвидов тигра, GPT-4 правильно определил 6 ныне живущих подвидов и их относительные ареалы. Однако ареалы представляют собой комбинацию современных и исторических ареалов и частично неверны, так как некоторые (например, малайский) находятся в основном в океане. Для миграций птиц начальное и конечное местоположение, как правило, правильное, а маршрут в некоторых случаях очень точный (например, SH, AF, NW). В нескольких случаях пропущены дополнительные маршруты. GPT-4 дает разумные предположения о том, как маршруты будут меняться при изменении климата (например, зимовка дальше на север, на более высоких высотах или раньше). Для получения координат миграционных маршрутов мы используем следующий запрос:
I want to plot the migratory routes of various bird species. Please provide the latitude and longitude coordinates of the migratory route of the . Indicate the start and finish and provide coordinates for intermediate steps if necessary. If multiple routes exist, provide separate lists of coordinates. Output the coordinates as a python list of tuples.
Обсуждение
GPT-4 доказала свою способность решать разнообразные прикладные задачи, что еще больше подчеркивает ее потенциал для решения последующих задач. Модель может придумывать креативные, правдоподобные маршруты движения (хотя может быть неточной в конкретике) и демонстрирует сильные способности к навигации по направлениям. При построении контуров ориентиров мы иллюстрируем способность GPT-4 "видеть", несмотря на то, что это языковая модель (аналогично [8]); несмотря на правильность аспектов и содержания, наблюдаются недостатки в композиции. GPT-4 имеет явные преимущества в задачах, связанных с интеграцией знаний из различных (возможно, неструктурированных) источников в разных областях. На практике результат может служить в качестве предложений, которые должны быть проверены на втором этапе. С другой стороны, мы обнаружили, что GPT-4 испытывает трудности с абстрактными оптимизационными рассуждениями без связи со знаниями, что приводит к вопросу: в какой степени задачи решаются путем запоминания, а не рассуждения? Учитывая вариативность решаемых им задач, кажется маловероятным, что он запоминает все, но некоторые вещи, похоже, запоминаются.
5 Выводы
Мы обнаружили, что GPT-4 обладает замечательным пониманием мира, о чем свидетельствуют многочисленные примеры, демонстрирующие сильные базовые знания и логические рассуждения. Мы надеемся, что наше исследование будет способствовать полезному применению больших языковых моделей в геопространственной области. Если обеспечить доступ к географическим данным, то в конечном итоге можно будет создать инструменты, которые улучшат планирование путешествий и навигацию. Несмотря на эти впечатляющие примеры, важно признать, что GPT-4 имеет пробелы в знаниях и по-прежнему склонен к галлюцинациям. Ключевой вопрос исследования, на который указывает данная работа, заключается в том, в какой степени задачи решаются с помощью запоминания или путем рассуждений.
Более широкое воздействие. Знания и способность GPT-4 рассуждать при решении географических задач демонстрируют его потенциал для использования в различных профессиях, особенно в туристической отрасли. Однако, помимо того, что GPT-4 или его преемники могут служить инструментом для дополнения человеческих работников, они также могут заменить человеческие рабочие места, что может привести к значительным экономическим и социальным проблемам. В будущем, если пограничные модели, помимо GPT-4, продолжат развиваться, географические знания и способности к планированию, имеющиеся в текущей модели, могут впоследствии представлять значительный риск из-за неправильного использования или несоответствия.
Ограничения. Полная воспроизводимость данной работы невозможна из-за стохастической природы GPT4 10 и обновлений GPT-4. Это, в сочетании с широтой географического поля, обуславливает необходимость преимущественно качественного подхода, не позволяющего нам делать исчерпывающие заявления о том, что GPT-4 знает о мире. Ограниченный доступ к модели и ограниченные выходные и контекстные окна еще больше ограничивают детали, с которыми мы можем проводить наши эксперименты. Наконец, доступ к визуальному компоненту GPT-4 мог бы открыть дополнительные возможности; было бы интересно посмотреть, как он работает с изображениями дистанционного зондирования, например, с эталоном SATIN.
Спасибо за внимание!
Поддержать автора перевода Сбербанк: 4279 3806 4491 9088