Скилл подбора модели

Скилл подбора модели

Навык подбора модели под задачу постепенно начинает ощущаться как отдельный скилл

Я регулярно пробую новые модели и уже дошел до режима, когда могу 1–2 дня вообще на новой модели работать и не страдать. Разумеется, для не срочных задач.

Параллельно в браузерном чате купил несколько китайских подписок: Kimi, Minimax, GLM и OpenAI. Просто чтобы руками понять, где у кого реальные сильные и слабые стороны.

Разнообразие реально помогает. Лучше начинаешь понимать не только "какая модель умнее", но и "в какую задачу ее вообще нельзя пускать". Модель можно подобрать не по абстрактной мощности и бенчмарку, а по конкретной работе.

Например: Minimax в десятки раз дешевле ChatGPT. И если нужно закрыть 10 простых задач, разница по деньгам уже очень заметна, а по качеству почти нет. Плюс я всегда могу по-мелочам доделать сам.

Да, он заметно тупее. Но для части задач это вообще не важно — там важно быть просто умнее меня, что очень просто.

Знать где модель может все только испортить — отдельная ценность. Например, minimax не стоит пускать в рефакторинг, Kimi — в визуальные вещи, ChatGPT — туда, где важно сильно экономить :)

В итоге получается довольно удобный подход: не искать одну "лучшую" модель на все случаи жизни, а понимать, где какая работает хорошо, а где лучше не надо. В целом я смогу даже с minimax 2.7 отлично жить, хоть она и самая туповатая из облачных гигантов и много раз оставляла после себя чувство раздражения.