Самое важное из мира IT — в канале MAX ⚡️ «Код.ру» Когда вы задаёте вопрос в поиске Google и получаете сводку от ИИ сверху страницы, ответ часто собирает не одна модель, а две. Маленькая быстро набрасывает черновик из нескольких слов, большая за один проход проверяет его и оставляет только то, что написала бы сама. Метод называется спекулятивным декодированием, Google применяет его в AI Overviews. В исходной работе 2022 года он ускорил генерацию в 2–3 раза, причём ответ остаётся точно таким же, как без ускорения...