Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π² ΠΊΠΎΡ€Π·ΠΈΠ½ΡƒΠŸΠΎΠ·Π²ΠΎΠ½ΠΈΡ‚ΡŒ
Найти Π² Π”Π·Π΅Π½Π΅
МашинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

🌟 GeoVista: модСль для Π²ΠΈΠ·ΡƒΠ°Π»ΡŒΠ½ΠΎΠΉ Π³Π΅ΠΎΠ»ΠΎΠΊΠ°Ρ†ΠΈΠΈ

🌟 GeoVista: модСль для Π²ΠΈΠ·ΡƒΠ°Π»ΡŒΠ½ΠΎΠΉ Π³Π΅ΠΎΠ»ΠΎΠΊΠ°Ρ†ΠΈΠΈ. Tencent Π² ΠΊΠΎΠ»Π»Π°Π±ΠΎΡ€Π°Ρ†ΠΈΠΈ с Π²Π΅Π΄ΡƒΡ‰ΠΈΠΌΠΈ китайскими унивСрситСтами Π²Ρ‹Π»ΠΎΠΆΠΈΠ»Π° Π² ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΉ доступ модСль GeoVista, которая ΠΏΡ€Π΅Π΄Π»Π°Π³Π°Π΅Ρ‚ интСрСсный ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ ΠΊ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡŽ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹ "Π³Π΄Π΅ сдСлано это Ρ„ΠΎΡ‚ΠΎ" - ΠΎΠ½Π° Π΄Π΅Π»Π°Π΅Ρ‚ ставку Π½Π° Π°ΠΊΡ‚ΠΈΠ²Π½Ρ‹ΠΉ ΠΌΠ°ΠΉΠ½ΠΈΠ½Π³ Π΄Π°Π½Π½Ρ‹Ρ… ΠΈΠ· Π²Π½Π΅ΡˆΠ½ΠΈΡ… источников. БистСма Π½Π° Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π΅ Qwen2.5-VL-7B-Instruct ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ 2 инструмСнта: Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ Π·ΡƒΠΌΠ° ΠΈ поисковый Π΄Π²ΠΈΠΆΠΎΠΊ, ΠΏΠΎΠ΄Ρ‚ΡΠ³ΠΈΠ²Π°ΡŽΡ‰ΠΈΠΉ Π΄ΠΎ 10 Ρ€Π΅Π»Π΅Π²Π°Π½Ρ‚Π½Ρ‹Ρ… ссылок с ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌ Tripadvisor, Pinterest ΠΈ Wikipedia ΠΈ ΡΠΎΡ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Ρ… сСтСй. МодСль ΡΠ°ΠΌΠΎΡΡ‚ΠΎΡΡ‚Π΅Π»ΡŒΠ½ΠΎ Ρ€Π΅ΡˆΠ°Π΅Ρ‚, Π² ΠΊΠ°ΠΊΠΎΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ‚ Π·Π°Π΄Π΅ΠΉΡΡ‚Π²ΠΎΠ²Π°Ρ‚ΡŒ Ρ‚ΠΎΡ‚ ΠΈΠ»ΠΈ ΠΈΠ½ΠΎΠΉ инструмСнт, Ρ‡Ρ‚ΠΎ, ΠΏΠΎ сути, ΠΈΠΌΠΈΡ‚ΠΈΡ€ΡƒΠ΅Ρ‚ Ρ…ΠΎΠ΄ мыслСй Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠ°-расслСдоватСля. GeoVista ΠΎΠ±ΡƒΡ‡Π°Π»Π°ΡΡŒ сначала (SFT) Π½Π° 2 тыс. ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°Ρ…, Π° ΠΏΠΎΡ‚ΠΎΠΌ (RL) ΡƒΠΆΠ΅ Π½Π° 12 тыс. ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°Ρ…. Для балансировки RL собрали ΠΊΠ°ΡΡ‚ΠΎΠΌΠ½ΡƒΡŽ систСму Π²ΠΎΠ·Π½Π°Π³Ρ€Π°ΠΆΠ΄Π΅Π½ΠΈΠΉ, ΠΏΡ€ΠΈΠ²ΡΠ·Π°Π½Π½ΡƒΡŽ ΠΊ гСографичСской точности: ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹ΠΉ ΠΎΡ‚Π²Π΅Ρ‚ Π½Π° ΡƒΡ€ΠΎΠ²Π½Π΅ Π³ΠΎΡ€ΠΎΠ΄Π° цСнится Π²Ρ‹ΡˆΠ΅, Ρ‡Π΅ΠΌ ΠΏΠΎΠΏΠ°Π΄Π°Π½ΠΈΠ΅ Π² ΠΏΡ€ΠΎΠ²ΠΈΠ½Ρ†ΠΈΡŽ ΠΈΠ»ΠΈ страну. Π“ΠΎΡ‚ΠΎΠ²ΡƒΡŽ модСль ΠΏΡ€ΠΎΠ³Π½Π°Π»ΠΈ Π½Π° собствСнном Π±Π΅Π½Ρ‡ΠΌΠ°Ρ€ΠΊΠ΅ GeoBench. На Π½

🌟 GeoVista: модСль для Π²ΠΈΠ·ΡƒΠ°Π»ΡŒΠ½ΠΎΠΉ Π³Π΅ΠΎΠ»ΠΎΠΊΠ°Ρ†ΠΈΠΈ.

Tencent Π² ΠΊΠΎΠ»Π»Π°Π±ΠΎΡ€Π°Ρ†ΠΈΠΈ с Π²Π΅Π΄ΡƒΡ‰ΠΈΠΌΠΈ китайскими унивСрситСтами Π²Ρ‹Π»ΠΎΠΆΠΈΠ»Π° Π² ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΉ доступ модСль GeoVista, которая ΠΏΡ€Π΅Π΄Π»Π°Π³Π°Π΅Ρ‚ интСрСсный ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ ΠΊ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡŽ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹ "Π³Π΄Π΅ сдСлано это Ρ„ΠΎΡ‚ΠΎ" - ΠΎΠ½Π° Π΄Π΅Π»Π°Π΅Ρ‚ ставку Π½Π° Π°ΠΊΡ‚ΠΈΠ²Π½Ρ‹ΠΉ ΠΌΠ°ΠΉΠ½ΠΈΠ½Π³ Π΄Π°Π½Π½Ρ‹Ρ… ΠΈΠ· Π²Π½Π΅ΡˆΠ½ΠΈΡ… источников.

БистСма Π½Π° Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π΅ Qwen2.5-VL-7B-Instruct ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ 2 инструмСнта: Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ Π·ΡƒΠΌΠ° ΠΈ поисковый Π΄Π²ΠΈΠΆΠΎΠΊ, ΠΏΠΎΠ΄Ρ‚ΡΠ³ΠΈΠ²Π°ΡŽΡ‰ΠΈΠΉ Π΄ΠΎ 10 Ρ€Π΅Π»Π΅Π²Π°Π½Ρ‚Π½Ρ‹Ρ… ссылок с ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌ Tripadvisor, Pinterest ΠΈ Wikipedia ΠΈ ΡΠΎΡ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Ρ… сСтСй.

МодСль ΡΠ°ΠΌΠΎΡΡ‚ΠΎΡΡ‚Π΅Π»ΡŒΠ½ΠΎ Ρ€Π΅ΡˆΠ°Π΅Ρ‚, Π² ΠΊΠ°ΠΊΠΎΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ‚ Π·Π°Π΄Π΅ΠΉΡΡ‚Π²ΠΎΠ²Π°Ρ‚ΡŒ Ρ‚ΠΎΡ‚ ΠΈΠ»ΠΈ ΠΈΠ½ΠΎΠΉ инструмСнт, Ρ‡Ρ‚ΠΎ, ΠΏΠΎ сути, ΠΈΠΌΠΈΡ‚ΠΈΡ€ΡƒΠ΅Ρ‚ Ρ…ΠΎΠ΄ мыслСй Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠ°-расслСдоватСля.

GeoVista ΠΎΠ±ΡƒΡ‡Π°Π»Π°ΡΡŒ сначала (SFT) Π½Π° 2 тыс. ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°Ρ…, Π° ΠΏΠΎΡ‚ΠΎΠΌ (RL) ΡƒΠΆΠ΅ Π½Π° 12 тыс. ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°Ρ…. Для балансировки RL собрали ΠΊΠ°ΡΡ‚ΠΎΠΌΠ½ΡƒΡŽ систСму Π²ΠΎΠ·Π½Π°Π³Ρ€Π°ΠΆΠ΄Π΅Π½ΠΈΠΉ, ΠΏΡ€ΠΈΠ²ΡΠ·Π°Π½Π½ΡƒΡŽ ΠΊ гСографичСской точности: ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹ΠΉ ΠΎΡ‚Π²Π΅Ρ‚ Π½Π° ΡƒΡ€ΠΎΠ²Π½Π΅ Π³ΠΎΡ€ΠΎΠ΄Π° цСнится Π²Ρ‹ΡˆΠ΅, Ρ‡Π΅ΠΌ ΠΏΠΎΠΏΠ°Π΄Π°Π½ΠΈΠ΅ Π² ΠΏΡ€ΠΎΠ²ΠΈΠ½Ρ†ΠΈΡŽ ΠΈΠ»ΠΈ страну.

Π“ΠΎΡ‚ΠΎΠ²ΡƒΡŽ модСль ΠΏΡ€ΠΎΠ³Π½Π°Π»ΠΈ Π½Π° собствСнном Π±Π΅Π½Ρ‡ΠΌΠ°Ρ€ΠΊΠ΅ GeoBench. На Π½Π΅ΠΌ GeoVista ΠΏΠΎΠΊΠ°Π·Π°Π»Π° 92,6% точности ΠΏΡ€ΠΈ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠΈ страны, 79,6% Ρ€Π΅Π³ΠΈΠΎΠ½Π° ΠΈ 72,7% - ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½ΠΎΠ³ΠΎ Π³ΠΎΡ€ΠΎΠ΄Π°.

Π›Π΅Π³Ρ‡Π΅ всСго ΠΌΠΎΠ΄Π΅Π»ΠΈ Π΄Π°ΡŽΡ‚ΡΡ ΠΏΠ°Π½ΠΎΡ€Π°ΠΌΡ‹ (79,5% точности Π½Π° ΡƒΡ€ΠΎΠ²Π½Π΅ Π³ΠΎΡ€ΠΎΠ΄Π°) ΠΈ стандартныС Ρ„ΠΎΡ‚ΠΎ (72,2%), Π° Π²ΠΎΡ‚ спутниковыС снимки ΠΎΡΡ‚Π°ΡŽΡ‚ΡΡ ахиллСсовой пятой, здСсь ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΡŒ ΠΏΠ°Π΄Π°Π΅Ρ‚ Π΄ΠΎ 44,9%.

Если ΡΡ€Π°Π²Π½ΠΈΠ²Π°Ρ‚ΡŒ с Π·Π°ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΌΠΈ модСлями, Ρ‚ΠΎ GeoVista Π΄Ρ‹ΡˆΠΈΡ‚ Π² спину Gemini 2.5 Flash (73,3% Π½Π° ΡƒΡ€ΠΎΠ²Π½Π΅ Π³ΠΎΡ€ΠΎΠ΄Π°) ΠΈ Π·Π°ΠΌΠ΅Ρ‚Π½ΠΎ ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΡ‚ GPT-5, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ ΠΏΠΎΠΊΠ°Π·Π°Π» лишь 67,1%. Π›ΠΈΠ΄Π΅Ρ€ΠΎΠΌ ΠΏΠΎΠΊΠ° остаСтся Gemini 2.5 Pro с Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠΌ 78,98%, Π° Π²ΠΎΡ‚ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ (Mini-o3-7B), Π±Π΅Π·Π½Π°Π΄Π΅ΠΆΠ½ΠΎ ΠΎΡ‚ΡΡ‚Π°ΡŽΡ‚ с ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»Π΅ΠΌ 11,3%.

Π’ ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊΠ°Ρ… физичСского расстояния Ρ€Π°Π·Ρ€Ρ‹Π² с Ρ‚ΠΎΠΏΠ°ΠΌΠΈ ΠΎΡ‰ΡƒΡ‚ΠΈΠΌ сильнСС. 52,8% прСдсказаний GeoVista ΠΏΠΎΠΏΠ°Π»ΠΈ Π² радиус 3 ΠΊΠΈΠ»ΠΎΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΎΡ‚ Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠΉ Ρ‚ΠΎΡ‡ΠΊΠΈ, ΠΏΡ€ΠΈ этом ΠΌΠ΅Π΄ΠΈΠ°Π½Π½ΠΎΠ΅ ΠΎΡ‚ΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠ΅ составило 2,35 ΠΊΠΈΠ»ΠΎΠΌΠ΅Ρ‚Ρ€Π°.

Для сравнСния, Gemini 2.5 Pro укладываСтся Π² 3-ΠΊΠΈΠ»ΠΎΠΌΠ΅Ρ‚Ρ€ΠΎΠ²ΡƒΡŽ Π·ΠΎΠ½Ρƒ Π² 64,45% случаСв с ΠΌΠ΅Π΄ΠΈΠ°Π½Π½Ρ‹ΠΌ ΠΎΡ‚ΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠ΅ΠΌ всСго Π² 800 ΠΌΠ΅Ρ‚Ρ€ΠΎΠ². Π”Π°ΠΆΠ΅ GPT-5, ΠΏΡ€ΠΎΠΈΠ³Ρ€Π°Π²ΡˆΠΈΠΉ Π² ΠΎΠ±Ρ‰Π΅ΠΉ точности, ΠΏΠΎΠΊΠ°Π·Π°Π» ΠΌΠ΅Π΄ΠΈΠ°Π½Ρƒ Π² 1,86 ΠΊΠΌ.

Помимо ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΠΊΠΎΠΌΠ°Π½Π΄Π° ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π»Π° ΠΈ сам датасСт GeoBench: 1142 изобраТСния ΠΈΠ· 66 стран ΠΈ 108 Π³ΠΎΡ€ΠΎΠ΄ΠΎΠ². Π’ Π²Ρ‹Π±ΠΎΡ€ΠΊΡƒ вошли 512 ΠΎΠ±Ρ‹Ρ‡Π½Ρ‹Ρ… Ρ„ΠΎΡ‚ΠΎΠ³Ρ€Π°Ρ„ΠΈΠΉ, 512 ΠΏΠ°Π½ΠΎΡ€Π°ΠΌ ΠΈ 108 спутниковых снимков.

Π“Π»Π°Π²Π½ΠΎΠ΅ ΠΎΡ‚Π»ΠΈΡ‡ΠΈΠ΅ этого Π½Π°Π±ΠΎΡ€Π° ΠΎΡ‚ Π°Π½Π°Π»ΠΎΠ³ΠΎΠ² Π²Ρ€ΠΎΠ΄Π΅ OpenStreetView-5M - ТСсткая Ρ„ΠΈΠ»ΡŒΡ‚Ρ€Π°Ρ†ΠΈΡ. Π Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΈ Π½Π°ΠΌΠ΅Ρ€Π΅Π½Π½ΠΎ ΡƒΠ΄Π°Π»ΠΈΠ»ΠΈ "Π½Π΅Π»ΠΎΠΊΠ°Π»ΠΈΠ·ΡƒΠ΅ΠΌΡ‹Π΅" изобраТСния: ΠΊΡ€ΡƒΠΏΠ½Ρ‹Π΅ ΠΏΠ»Π°Π½Ρ‹ Π΅Π΄Ρ‹ ΠΈΠ»ΠΈ Ρ‚ΠΈΠΏΠΈΡ‡Π½Ρ‹Π΅ ΠΏΠ΅ΠΉΠ·Π°ΠΆΠΈ Π±Π΅Π· ΠΏΡ€ΠΈΠΌΠ΅Ρ‚ ΠΈ слишком ΠΎΡ‡Π΅Π²ΠΈΠ΄Π½Ρ‹Π΅ Π΄ΠΎΡΡ‚ΠΎΠΏΡ€ΠΈΠΌΠ΅Ρ‡Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΈΡΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ Π»Π΅Π³ΠΊΠΈΠ΅ ΠΏΠΎΠ±Π΅Π΄Ρ‹ для Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ².

πŸ“ŒΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: Apache 2.0 License.

πŸŸ‘Π‘Ρ‚Ρ€Π°Π½ΠΈΡ†Π° ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°

πŸŸ‘ΠΠ°Π±ΠΎΡ€ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ

🟑Arxiv

πŸŸ‘Π”Π°Ρ‚Π°ΡΠ΅Ρ‚

πŸ–₯Github

@machinelearning

#AI #ML #LLM #GeoVista #Tencent

-2