Ученые обнаружили уязвимость в системах ИИ
Ученые доказали, что современные системы искусственного интеллекта (ИИ), способные анализировать картинки, уязвимы для манипуляций при помощи альфа-канала в файлах изображений — набора данных, который отвечает за их прозрачность. К такому выводу пришли исследователи из Техасского университета в Сан-Антонио. Они установили, что управляющий прозрачностью изображения альфа-канал зачастую игнорируется при создании средств анализа с ИИ. И он может стать средством для кибератак на системы в области медицины и автопилота.
Группа ученых под руководством доцента Гвиневры Чэнь разработала метод атаки AlphaDog, эксплуатирующий эту уязвимость в системах ИИ. Из-за альфа-канала люди и ИИ могут воспринимать изображения совершенно по-разному.
Ученые создали 6500 изображений и протестировали их на 100 моделях ИИ, включая 80 систем с открытым исходным кодом и 20 облачных платформ, таких как ChatGPT. Как показали испытания, схема AlphaDog особенно эффективна при атаках в областях изображений в оттенках серого. Уязвимости подвержены модели ИИ, лежащие в основе систем автопилота — альфа-канал позволяет манипулировать алгоритмами распознавания дорожных знаков, которые содержат фрагменты в оттенках серого. В результате дорожные знаки могут распознаваться неверно, и возникает угроза тяжелых последствий.
Помимо этого ученые признали уязвимой медицинскую визуализацию, в которых ИИ помогает с постановкой диагноза.
Здесь в оттенках серого часто представляются рентгеновские снимки, результаты МРТ и КТ, и ими тоже можно манипулировать с помощью AlphaDog, что грозит постановкой заведомо неверного диагноза, сообщает 3dnews.ru.
Ранее сообщалось, что ИИ начнет выполнять работу учителей в России к 2030 году.