2356 подписчиков
На фоне сегодняшнего объявления о выпуске GPT-4 интересно почитать, на каком железе эти модели обучают; становится понятней, почему очень немного компаний могут себе это позволить, а остальные будут пользоваться готовыми моделями и писать для них обвес; пре- и постпроцессинг и прочие рюшечки.
Десятки тысяч Nvidia A100 GPU, которые сейчас апгрейдят до Nvidia H100. В 2019 Microsoft не просто инвестировала 1 млрд, но начала строить суперкомпьютер для OpenAI, которого при всей мощи облака Azhure раньше у компании не было. Проект обошелся в “несколько сотен миллионов долларов”. Масштаб железа впечатляет.
Около минуты
14 марта 2023