Найти в Дзене
Технарь

Делаем робота для замены человека

В одном из проектов (привет Gese) появилась проблема, нужно ставить менеджера, который будет работать с клиентами, так как как оказалось красиво рассказать о проекте пока могу только я. Нанимать человека вообще не вариант, да и в бюджет он не был заведен планово. Покупать робота не вариант (цены уж больно кусачие, например робот промоутер стоит от 500 тыс р и выше). Я решил сделать его самостоятельно не дороже 30 тыс р. Робот по сути состоит из 3 частей: 1 голова (механика, электроника) 2 голосовой модуль (понимать речь и отвечать) 3 модуль распознавания лиц и поворота на пользователя Голосовой модуль. Подумав как это решить, столкнулся с интересным решением - диалоги яндекс алисы (той самой что стоит в навигаторе на вашем телефоне или в яндекс такси). Для создания диалогов нужно поднять сервер и написать код на питоне с вопросами и ответами, что я в общем и сделал, самое сложное оказалось подача заявки на модерацию диалога (не очень понятно описано все у них, три раза подавал). Но

В одном из проектов (привет Gese) появилась проблема, нужно ставить менеджера, который будет работать с клиентами, так как как оказалось красиво рассказать о проекте пока могу только я. Нанимать человека вообще не вариант, да и в бюджет он не был заведен планово. Покупать робота не вариант (цены уж больно кусачие, например робот промоутер стоит от 500 тыс р и выше). Я решил сделать его самостоятельно не дороже 30 тыс р.

Робот по сути состоит из 3 частей:

1 голова (механика, электроника)

2 голосовой модуль (понимать речь и отвечать)

3 модуль распознавания лиц и поворота на пользователя

Голосовой модуль. Подумав как это решить, столкнулся с интересным решением - диалоги яндекс алисы (той самой что стоит в навигаторе на вашем телефоне или в яндекс такси).

Для создания диалогов нужно поднять сервер и написать код на питоне с вопросами и ответами, что я в общем и сделал, самое сложное оказалось подача заявки на модерацию диалога (не очень понятно описано все у них, три раза подавал). Но особой сложности в общем не заметил.

То есть голос робота и его диалоги с пользователями я худо - бедно осилил, для активации нужно запустить алису и сказать роботу активационное имя, после чего робот переключается с алисы на базу данных робота.

Голова - изобретение велосипедов не наш метод, и тратить время и силы на велосипед не видел вообще смысла, поэтому поискал опенсорс проекты механизированных голов. И в общем нашел Inmoov. Французский робот которого можно сделать на 3д принтере. Для изготовления куплен принтер и 3 кг пластика, а так же 3 сервопривода, камера для глаз и ардуинка которая будет всем этим управлять (камера подключается или к пк или смартфону) и колонки для ушей.

-2

После печати получил примерно это

-3

Как видно, еще не вставил зрачки, колонки в уши и нет стенда на котором это все будет стоять, стенд еще не сделал так как не было понятно что будет в основе (андроид, пк или что то еще).

Определение лица пользователя

Для этого использовал Opencv и ардуинку, фактически опенсв определяет положение головы пользователя, передает координаты на ардуинку и ардуинка центрирует голову на пользователе. Тут пришлось повозиться, сейчас робот работает с рывками , так как тайминг стоит в 2 мс, что несколько заметно, и пока требует доработки.

В общем робот пока в процессе, как завершу напишу статью о том как он будет работать на практике.