Платформа, которая хостит модели Cursor, Notion и Harvey, выложила в открытый доступ книгу Inference Engineering за авторством Филипа Кайли. который четыре года работает в Baseten и написал её по интервью с инженерами компании и собственным докладам. Среди рецензентов - автор FlashAttention Три Дао. Книга собирает в одном месте путь от выбора модели и GPU до мониторинга работающего сервиса. Baseten основана в 2019 году тремя выходцами из Gumroad, четвёртым сооснователем стал Панкадж Гупта из Uber...