Мне пишут - интересный опыт, разрешили поделиться запуском новой локальной ИИ от openAI. Цитирую:
"Макс, доброго времени. Протестировал новую открытую GPT. она прям очень впечатлила! они или что-то задумали, или где-то ошиблись и выложили прям убийцу самих себя..😂
по скорости вот на моей 3060 12G:
17.04 токенов/сек
6644 токенов
1.17 сек. до первого токена
и это на высшем уровне сложности размышления! задача была не простая, по кодингу, она сделала лучше даже чем оригинальный GPT.. поэтому я сильно удивился..
надо тестировать, интересно что там с контекстом в плане не размера а качества. а то размер это пук в воду, он может быть и миллион как у гугла а качества на 10к по итогу..😁 ну и надо почитать лицензию, возможно подвох в ней..
возможно регуляторы монопольные пнули, ибо все вдруг выкатили свое не большие модели с размышлением.😁
если она реально на столько хороша, то при 3090 api больше не надо!..😁 она в сжатии дает качество лучшее ее родителя оригинала бесплатного.."
Иными словами - достаточно средней карты и вы получаете очень умную локальную ИИ на вашем ПК. Потом еще поделюсь цифры - ребята пробуют...
