Слепые и слабовидящие программисты раньше не могли полноценно работать с обычным ПО для 3D‑дизайна — там всё основано на визуальном перетаскивании, вращении и инспекции объектов. Это ограничивало их участие в робототехнике, инженерии, аппаратном дизайне и других областях, где без 3D‑моделей не обойтись.
Даже если человек отлично пишет код, ему приходилось просить зрящего коллегу описывать изменения в модели или подтверждать, что всё получилось так, как задумано.
Теперь это меняется с появлением прототипа программы A11yShape. Этот инструмент позволяет слабовидящим разработчикам создавать, просматривать и корректировать 3D‑модели без помощи других людей.
Как это работает
A11yShape генерирует доступные текстовые описания модели, структурирует её компоненты в иерархию и делает так, чтобы каждый шаг был корректно озвучен экранными читалками.
Проект начался, когда Лян Хэ (Liang He), доцент компьютерных наук в University of Texas at Dallas, пообщался со своим слабовидящим однокурсником, который изучал 3D‑моделирование. Он увидел, что стратегии, которые использовал его друг на курсе по 3D‑дизайну для слепых в University of Washington, можно оформить в удобный инструмент.
«Я хотел создать что‑то действительно полезное для этой группы людей, а не просто изобрести что‑то в вакууме»
— говорит Хэ.
Интеграция с OpenSCAD и ИИ
A11yShape работает с OpenSCAD — текстовым редактором для 3D‑моделирования, где модели создаются путём написания кода, а не кликанья мышью. Такой подход уже более доступен для незрячих, чем графические интерфейсы.
В инструмент добавлен AI Assistance Panel, панель ИИ‑помощи, где можно в реальном времени отправлять запросы к ChatGPT‑4o для проверки решений и отладки OpenSCAD‑скриптов.
Интерфейс A11yShape состоит из трёх панелей:
- код,
- описания от ИИ,
- структура модели.
Они синхронизированы между собой: если пользователь выбирает часть кода или элемент модели, система подчёркивает соответствующий фрагмент во всех панелях и обновляет описание. Так слепой программист всегда знает, над чем работает.
Первые отзывы
Команда исследователей привлекла четырёх участников с разным уровнем зрения и опытом программирования. Участники пробовали создавать модели в A11yShape, и исследователи наблюдали за процессом.
Один из участников, который раньше не моделировал, сказал:
«Инструмент открывает новый взгляд на 3D‑дизайн... Сейчас мы действительно можем создавать простые структуры».
Однако некоторые отметили, что длинные текстовые описания всё ещё сложно воспринимать для сложных форм. И без тактильной модели или тактильного дисплея трудно полностью представить дизайн «в уме».
Чтобы оценить точность описаний ИИ, команда привлекла 15 зрячих участников. Они оценивали описания по геометрической точности, ясности и отсутствию ошибок — в среднем от ~4,1 до 5 баллов по 5‑балльной шкале, что говорит о достаточно высоком качестве.
Что дальше
Исследователи собирают обратную связь, чтобы улучшить инструмент. В будущем они планируют интегрировать тактильные дисплеи, печать моделей в реальном времени и более краткие аудио‑описания от ИИ.
Кроме того, A11yShape может помочь не только профессионалам, но и тем, кто только учится программировать: он снижает барьер входа для слабовидящих учащихся, которые хотят творить и выражать себя с помощью технологий, например через 3D‑печать.