Применение моделей GPT-4 работают на моем ноутбуке 💻Мой ноутбук — MacBook Pro M2 на 64 ГБ, выпущенный в 2023 году. Это мощная машина, но ей уже почти два года, и, что самое важное, это тот же ноутбук, которым я пользуюсь с тех пор, как впервые запустил LLM на своем компьютере в марте 2023 года. Тот же самый ноутбук, который в марте прошлого года мог запустить модель класса GPT-3, теперь запускает несколько моделей класса GPT-4! Вот некоторые из моих заметок по этому поводу: ✔️Qwen2.5-Coder-32B — это LLM, который умеет хорошо кодировать и работает на моем Mac. В ноябре я расскажу о Qwen2.5-Coder-32B — модели с лицензией Apache 2.0! ✔️Теперь я могу запустить GPT-4 на своем ноутбуке. Это до сих пор меня удивляет. Я думал, что для модели с возможностями и качеством вывода GPT-4 нужен сервер обработки данных с одним или несколькими графическими процессорами стоимостью более 40 000 долларов. Эти модели занимают достаточно много памяти из моих 64 ГБ оперативной памяти, поэтому я не запускаю их часто — они не оставляют места для чего-либо еще. 💻Модели Llama 3.2 от Meta заслуживают особого упоминания. Они может и не относятся к классу GPT-4, но в размерах 1B и 3B они выдают гораздо больше, чем могут себе позволить. Я запускаю Llama 3.2 3B на своем iPhone с помощью бесплатного приложения MLC Chat iOS , и это потрясающе мощная модель для своего крошечного размера (<2 ГБ). Попробуйте запустить ее и попросить «сюжет рождественского фильма Netflix, в котором журналист по данным влюбляется в местного керамиста». Получите результат за 20 секунд. 👉Ссылка на оригинальную статью