Источник: Nuances of Programming
Создаём приложение с одним окном
Для начала нам понадобится создать iOS проект «single view app» (прим: автор работает в Xcode).
Теперь у нас есть проект. Мы обойдёмся без сторибордов, кнопок и переключателей. Приложение будет выполнятся программно — чистый код 🤗.
Удалите main.storyboard и запишите следующий код в файл AppDelegate.swift:
Обязательно удалите информацию о сториборде Main из файлов.
Создаём сцену и добавляем её в Subview
У нас есть только один ViewController, который будет основной точкой входа для приложения.
На этом этапе нам нужно импортировать ARKit и создать экземпляр ARSCNView, который автоматически отображает видео в реальном времени с камеры устройства в качестве фона сцены. Кроме того, ARKit автоматически регулирует свою камеру SceneKit в соответствии с реальным движением устройства. Т.е. нам не нужен якорь для отслеживания положения объектов, которые мы добавляем к сцене.
Нам нужно задать границы экрана:
let sceneView = ARSCNView(frame: UIScreen.main.bounds)
В методе ViewDidLoad нам нужно настроить несколько вещей, например, делегат, а также вывести статистику кадров на экран:
self.view.addSubview(sceneView) // Добавление сцены в subview
sceneView.delegate = self // Установка делегата для view controller
sceneView.showsStatistics = true // Отображение статистики
Запуск сессии ARFaceTrackingConfiguration
Теперь нам нужно начать сессию ARFaceTrackingConfiguration. Эта конфигурация даёт нам доступ к фронтальной камере TrueDepth, которая есть только в iPhone X, Xs и Xr. Подробнее в документации Apple:
Конфигурация отслеживания лица определяет лицо пользователя в поле видимости фронтальной камеры устройства. При запуске этой конфигурации AR сессия обнаруживает лицо пользователя (если оно попадает в поле видимости фронтальной камеры) и добавляет в свой список якорей объект ARFaceAnchor, представляющий лицо. Каждый якорь передаёт информацию о положении, ориентации, топологии и других особенностях лица.
Источник: Apple
Метод ViewDidLoad выглядит так:
Обучаем модель
Есть несколько способов создать файл .mlmodel, который будет совместим с CoreML, вот основные:
- Turicreate: это библиотека python, которая упрощает разработку моделей машинного обучения, и что ещё более важно, вы можете экспортировать свою модель в .mlmodel файл, который можно парсить с помощью Xcode.
- MLImageClassifierBuilder(): здесь не требуется доп. библиотек, вам нужен только Xcode. Этот способ подойдёт для обучения относительно простых моделей.
Я создал несколько моделей, чтобы протестировать оба способа. У меня нет большого набора данных, поэтому я решил использовать MLImageClassifierBuilder(), 67 изображений своего лица и 260 изображений неизвестных лиц, которые я нашёл на unsplash.
Начнём с этого кода:
import CreateMLUI
let builder = MLImageClassifierBuilder()
builder.showInLiveView()
Я рекомендую установить максимальное количество итераций на 20 и добавить аугментацию изображений. Она создаст по четыре дополнительных экземпляра обрезанных изображений для каждого.
Захват фреймов с камеры и добавление их в модель
Нам нужно расширить наш ViewController с делегатом сцены — ARSCNViewDelegate. Нам понадобится два метода: один для обнаружения лица, а другой для обновления сцены при обнаружении лица.
Обнаружение лица:
func renderer(_ renderer: SCNSceneRenderer, nodeFor anchor: ARAnchor) -> SCNNode? {
К сожалению, сцена не обновляется, когда я открываю глаза или рот. Поэтому нам нужно каждый раз обновлять ее.
Обновление сцены:
Захватываем всю геометрию лица и мэппинг. После этого обновляем узел.
Получаем фреймы с камеры:
Обратите внимание, что ARSCNView наследует от AVCaptureSession. Мы можем взять cvPixelFuffer и отправить его в нашу модель.
Вот простой способ сделать это с помощью атрибута sceneView:
guard let pixelBuffer = self.sceneView.session.currentFrame?.capturedImage else { return }
Добавляем фреймы в модель:
Теперь, когда мы можем обнаружить лицо и захватить каждый кадр с камеры, можно отправить их в нашу модель:
Отображаем имя над распознанным лицом
Последнее и, вероятно, самое сложное — это проецирование 3D-текста над распознанным лицом. Наша конфигурация не такая продвинутая, как ARWorldTrackingConfiguration, которая даёт доступ ко многим методам и классам. Мы используем только фронтальную камеру, и этим наши возможности ограничены.
Тем не менее, мы всё-таки можем спроецировать 3D-текст на экран, хотя он не будет реагировать на движение лица и меняться.
Теперь у нас есть объект SCNText. Он должен обновляться в соответствии с обнаруженным лицом. Мы должны добавить его в rootNode:
Результат
Вот что у меня получилось в итоге:
Этот проект можно скачать с Github.
Читайте также:
Читайте нас в телеграмме и vk
Перевод статьи Omar M’Haimdat: Face Detection and Recognition With CoreML and ARKit
