Аспиранты из Стэндфордского университета разработали Predicting Image Geolocations (PIGEON) — нейросеть, которая умеет определять местоположение людей и объектов по фото.
Разработчики нейросети вдохновлялись игрой GeoGuessr — они задались целью создать игрока с искусственным интеллектом, который сможет превзойти возможности людей. Для этого они взяли уже существующую систему анализа изображений CLIP и изображения Google Street View, создав на их основе собственный набор данных из 500 000 изображений.
Также, по словам исследователей, были добавлены дополнительные элементы, которые помогали ИИ классифицировать изображения по их положению на земном шаре. А чтобы проверить возможности PIGEON, они устроили турнир между нейросетью и легендой GeoGuessr Тревором Рэйнболтом. В итоге ИИ удалось одержать победу. При этом точность её работы составляла 40 км, и она правильно могла назвать страну в 95% случаев.
Но есть у PIGEON и свои недостатки. Например, она может раскрыть конфиденциальную информацию о людях, а также ею могут воспользоваться злоумышленники, преследуя свою жертву, или правительства, чтобы узнать, какие страны посещают их граждане. Сами разработчики осознают весь риск, поэтому в статье о PIGEON они воздержались от обнародования полной модели.