Уже в начале лета Apple проведёт конференцию WWDC 2024, где представит обновление своих операционных систем и, как ожидается, расскажет о наработках в области искусственного интеллекта. А пока появилась информация о потенциальных возможностях «яблочного» ИИ.
Как сообщается, специалисты Apple разработали новую систему искусственного интеллекта ReALM, способную понимать, что отображается на экране устройства и соответствующим образом реагировать на пользовательские запросы. Указывается, что достичь этого удалось благодаря приобретению стартапа DarwinAI в прошлом месяце.
ReALM преобразовывает информацию на экране в текст, что позволяет системе работать локально на устройстве без необходимости ресурсоёмкого распознавания изображений. ИИ может понимать, что происходит на экране, в том числе и задачи, происходящие в фоновом режиме. Более того, нейросеть от Apple даже превосходит GPT-4 от OpenAI, несмотря на меньшее количество параметров.
В качестве примера работы этой технологии приводится возможность попросить Siri позвонить по телефону, отображаемому на экране в данный момент.