Китайские ученые создали приложение для слабовидящих
Ученые и студенты Лаборатории обработки естественного языка Университета Фудань (Китай) создали приложение «Услышать мир». Это приложение разработано специально для слабовидящих на основе мультимодальной базовой модели MouSi.
Разработчики рассказали, что при помощи камеры и пары наушников приложение преобразовывает изображение в речь, описывает окружение и указывает на возможные риски. Приложение «Услышать мир» призвано сделать жизнь слабовидящих удобнее и безопаснее.
Приложение функционирует в трех режимах: режиме передвижения, режиме свободного диалога и режиме поиска. В режиме передвижения приложение выполняет роль гида: оно может детально сканировать дорожные условия, предупреждать о потенциальных рисках и сопровождать слабовидящих, чтобы они могли безопасно добраться до места назначения.
В режиме свободного диалога приложение «Услышать мир» становится для людей с дефектами зрения заботливым другом, который помогает рассмотреть каждую деталь окружающей обстановки и описать ее. Приложение в режиме поиска — надежный помощник, который может облегчить людям с нарушениями зрения процесс поиска предметов повседневного обихода.
Профессор Лаборатории обработки естественного языка Университета Фудань Чжан Ци отметил, что сегодня технологии искусственного интеллекта стремительно развиваются, и они изменят жизнь огромного числа людей.
«Я надеюсь, что наше приложение поможет людям с проблемами со зрением чаще выходить из дома, работать и открыть для себя больше возможностей», — поделился профессор, пишет «Жэньминь жибао он-лайн».