Алгоритм распознавания объектов OpenAI можно обмануть надписью на бумажке

Чтобы сбить с толку новейшую модель компьютерного зрения CLIP разработки OpenAI, достаточно двух незамысловатых инструментов — клочка бумаги и ручки, пишет The Verge.

Оставить комментарий

Чтобы сбить с толку новейшую модель компьютерного зрения CLIP разработки OpenAI, достаточно двух незамысловатых инструментов — клочка бумаги и ручки, пишет The Verge.

Как рассказали исследователи в блоге, искусственный интеллект не сможет корректно идентифицировать предмет, если на него прикрепить надпись с любым другим существительным. К примеру, если на яблоке написать «iPod», то система классифицирует фрукт как плеер.

Такой тип атак лаборатория называет «типографскими». Суть состоит в злоупотреблении способностью модели качественно распознавать текст, в результате чего к ошибке может привести даже сделанная от руки надпись. Такие атаки схожи с состязательными, когда в изображение добавляется шум, чтобы не дать AI правильно распознать объект, но устроить их гораздо проще, отмечают создатели CLIP.

Исследователи объясняют, что процесс распознавания в нейросети выполняют так называемые «мультимодальные нейроны», которые способны воспринимать не только фотографии объектов, но и их наброски, анимированные изображения, текстовые описания и изображения текста. Но такая многогранность оборачивается против модели, потому что это мешает ей отличить яблоко от стикера со словом «яблоко».

OpenAI приводит в пример другой нейрон CLIP, который распознает свинью-копилку. Помимо копилки он считывает последовательности из нескольких знаков доллара. А если фото цепной пилы «облепить» значками, модель примет её за копилку.

CLIP обучалась на массивных наборах, состоящих из пар картинок и текстовых описаний. Модель имеет исследовательские цели и пока не используется в коммерческих продуктах. Разработчики ещё не решили, будут ли открывать её код и когда.

В McAfee обманули автопилот Tesla кусочком скотча
В McAfee обманули автопилот Tesla кусочком скотча
По теме
В McAfee обманули автопилот Tesla кусочком скотча
Хакеры заставили автопилот Tesla выехать на встречную полосу
Хакеры заставили автопилот Tesla выехать на встречную полосу
По теме
Хакеры заставили автопилот Tesla выехать на встречную полосу

Хотите сообщить важную новость? Пишите в Телеграм-бот.

А также подписывайтесь на наш Телеграм-канал.

Горячие события

HRgile.club 2021 Online
23 апреля

HRgile.club 2021 Online

Минск

Читайте также

Топ-10 айтишных профессий, где нужно машинное обучение
Топ-10 айтишных профессий, где нужно машинное обучение
Топ-10 айтишных профессий, где нужно машинное обучение
В Китае сделали AI-цензор для фильтрации неугодного контента на базе алгоритма Google. Эффективность — 91%
В Китае сделали AI-цензор для фильтрации неугодного контента на базе алгоритма Google. Эффективность — 91%
В Китае сделали AI-цензор для фильтрации неугодного контента на базе алгоритма Google. Эффективность — 91%
AI написал песню в стиле Nirvana
AI написал песню в стиле Nirvana
AI написал песню в стиле Nirvana
Блогер обучил ИИ распознавать собак и кричать им комплименты
Блогер обучил ИИ распознавать собак и кричать им комплименты
Блогер обучил ИИ распознавать собак и кричать им комплименты

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже