10,2 ΡΡΡ ΠΏΠΎΠ΄ΠΏΠΈΡΡΠΈΠΊΠΎΠ²
π InternLM2.5-20B-chat ΠΈ InternLM2.5-1.8B-chat: Π Π°ΡΡΠΈΡΠ΅Π½ΠΈΠ΅ ΡΠ΅ΠΌΠ΅ΠΉΡΡΠ²Π° ΡΠ·ΡΠΊΠΎΠ²ΡΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ InternLM 2.5.
InternLM2.5-20B-chat - Π±Π°Π·ΠΎΠ²Π°Ρ ΠΌΠΎΠ΄Π΅Π»Ρ Ρ 20 ΠΌΠΈΠ»Π»ΠΈΠ°ΡΠ΄Π°ΠΌΠΈ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ² ΠΎΡΠΈΠ΅Π½ΡΠΈΡΠΎΠ²Π°Π½Π½Π°Ρ Π½Π° ΡΠ°Ρ-Π²Π·Π°ΠΈΠΌΠΎΠ΄Π΅ΠΉΡΡΠ²ΠΈΠ΅. ΠΠΎΠ΄Π΅Π»Ρ ΠΎΠ±Π»Π°Π΄Π°Π΅Ρ ΠΌΠ°ΡΠ΅ΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈΠΌΠΈ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡΠΌΠΈ, ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°Π΅Ρ ΡΠ±ΠΎΡ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠΈ Ρ Π²Π΅Π±-ΡΡΡΠ°Π½ΠΈΡ ΠΈ ΠΏΠΎΠ»ΡΡΠΈΠ»Π° ΡΠ»ΡΡΡΠ΅Π½Π½ΡΠΉ Π½Π°Π²ΡΠΊ ΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΡ ΠΈΠ½ΡΡΡΡΠΊΡΠΈΡΠΌ.
ΠΠΎΠ΄Π΅Π»Ρ ΠΌΠΎΠΆΠ΅Ρ Π±ΡΡΡ ΡΠ°Π·Π²Π΅ΡΠ½ΡΡΠ° Ρ ΠΏΠΎΠΌΠΎΡΡΡ Transformers, vLLM ΠΈ LMDeploy.
ΠΠΎΡΡΡΠΏΠ½Π° ΡΠ°ΠΊΠΆΠ΅ Π²Π΅ΡΡΠΈΠΈ GGUF Π΄Π»Ρ Π·Π°ΠΏΡΡΠΊΠ° Π² llama.cpp, LMStudio ΠΈ Ollama Ρ ΠΏΠΎΠ»ΠΎΠ²ΠΈΠ½Π½ΠΎΠΉ ΡΠΎΡΠ½ΠΎΡΡΡΡ FP16 (39.7GB) ΠΈ Π² ΠΌΠ°Π»ΠΎΡΠ°Π·ΡΡΠ΄Π½ΡΡ
ΠΊΠ²Π°Π½ΡΠΎΠ²Π°Π½Π½ΡΡ
Π²Π°ΡΠΈΠ°ΡΠΈΡΡ
c ΡΠ°Π³ΠΎΠΌ Π² 1 bit : ΠΎΡ 2-bit (7.55 GB) Π΄ΠΎ 8-bit (21 GB).
InternLM2.5-1.8B-chat - ΠΌΠΎΠ΄Π΅Π»Ρ Ρ 1.8 ΠΌΠΈΠ»Π»ΠΈΠ°ΡΠ΄Π°ΠΌΠΈ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ² ΠΈ ΡΠΎΡΠ½ΠΎ ΡΠ°ΠΊΠΎΠΉ ΠΆΠ΅ Π½Π°ΠΏΡΠ°Π²Π»Π΅Π½Π½ΠΎΡΡΠΈ ΠΈ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡΠΌΠΈ, ΠΊΠ°ΠΊ ΠΈ 20B-chat Π²Π΅ΡΡΠΈΡ.
ΠΠ»Ρ InternLM2.5-1.8B-chat ΡΠΎΠΆΠ΅ Π΄ΠΎΡΡΡΠΏΠ½Ρ GGUF Π²Π΅ΡΡΠΈΠΈ Ρ ΡΠ°Π·ΡΡΠ΄Π½ΠΎΡΡΡΡ ΠΎΡ FP16 (3.78 GB) Π΄ΠΎ Π΄ΠΎ 2-bit (772 Mb), Ρ ΡΠ°Π³ΠΎΠΌ Π² 1 bit.
πΠΠΈΡΠ΅Π½Π·ΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ :
π InternLM2.5-20B-chat: Π±Π΅ΡΠΏΠ»Π°ΡΠ½ΠΎ. ΠΠΎΠΌΠΌΠ΅ΡΡΠ΅ΡΠΊΠΎΠ΅ ΠΏΡΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ ΡΡΠ΅Π±ΡΠ΅Ρ ΠΏΠΎΠ΄Π°ΡΠΈ Π·Π°ΡΠ²ΠΊΠΈ ΡΠ΅ΡΠ΅Π· ΡΠΎΡΠΌΡ.
π’InternLM2.5-1.8B-chat: Apache 2.0 License
#AI #LLM #ML #InternLM
ΠΠΊΠΎΠ»ΠΎ ΠΌΠΈΠ½ΡΡΡ
14Β Π°Π²Π³ΡΡΡΠ°Β 2024