ИИ научился скрывать информацию, чтобы «подделывать» результаты работы

Оставить комментарий
ИИ научился скрывать информацию, чтобы «подделывать» результаты работы

В одном из исследований Стэнфордского университета и Google алгоритм машинного обучения должен был преобразовывать аэроснимки в карты улиц и наоборот. Но система научилась обманывать учёных, скрывая информацию в «почти неуловимом высокочастотном сигнале», сообщает TechCrunch.

Целью исследователей было ускорить и улучшить преобразование спутниковых фотографий в карты улиц с помощью нейросети CycleGAN. Но алгоритм начал показывать подозрительно высокие результаты: на восстановленных им изображениях местности было много деталей, которых не было на исходных картах улиц. Например, в процессе создания карт с фотографий удаляли люки на крышах домов, но при обратном процессе на воссозданных по картам картинках эти люки снова появлялись.

a — спутниковый снимок, b — сгенерированная карта, c — воссозданный снимок. На обоих снимках присутствуют точки, которых нет на карте улиц.

a — спутниковый снимок, b — сгенерированная карта, c — воссозданный снимок. На обоих снимках присутствуют точки, которых нет на карте улиц.

ИИ должен был научиться интерпретировать признаки одного из типов карт (фотографии или схемы улиц) и соотносить их с правильными признаками другого типа. При этом его оценивали по чёткости создаваемой карты и по тому, насколько сгенерированное им изображение было близко к заданной карте. Алгоритм же учился не различать типы карт, а кодировать признаки одного типа в другом. Он незаметно зашифровывал детали аэроснимков в карты улиц, делая тысячи мельчайших изменений цветов, которые не видны глазу человека, но легко считываются компьютером.

Как выяснилось, таким образом алгоритм может зашифровать любой фотоснимок в любую карту улиц. На иллюстрации ниже в блоке c видны небольшие изменения, которые систематически делал алгоритм, — они формируют общий контур фотоснимка. Их было бы невозможно заметить, не зная об их наличии.

По мнению TechCrunch, это говорит не об «интеллектуальности» алгоритма, а почти о противоположном, так как он учится не преобразовывать картинки и «умнеть», а находить обходные пути, которые человек не способен вычислить. При этом формально ИИ выполнил поставленную задачу. Эксперимент вновь показал известную с появления компьютеров проблему: «они делают точно то, что говорит человек».

Хотите сообщить важную новость?

Пишите в наш Телеграм

Горячие события

Вебинар «Советы от рекрутеров: как найти квалифицированную работу в Европе»
4 июня

Вебинар «Советы от рекрутеров: как найти квалифицированную работу в Европе»

JSNation 2020 Amsterdam
3 июня — 5 июня

JSNation 2020 Amsterdam

Amsterdam
Бесплатные творческие лаборатории в ИТ-школе Адукар
3 июня — 7 июня

Бесплатные творческие лаборатории в ИТ-школе Адукар

Минск

Читайте также

Microsoft заменяет журналистов искусственным интеллектом
Microsoft заменяет журналистов искусственным интеллектом

Microsoft заменяет журналистов искусственным интеллектом

2 комментария
Разработчики из AIMatter рассказали, чем занимаются в Google
Разработчики из AIMatter рассказали, чем занимаются в Google

Разработчики из AIMatter рассказали, чем занимаются в Google

В августе прошлого года СМИ сообщали: открытый проект Google помогает распознавать язык жестов с помощью смартфона. Сейчас команда готовится представить свой проект на технологической конференции Emerge, которая пройдет 1–3 июня. Накануне выступления разработчики Валентин Базаревский и Иван Грищенко рассказали Dev.by, как далеко зашло распознавание жестов, и может ли их нейросеть отличить жесты человека от жеста робота.
16 комментариев
Facebook придумала продвинутый способ создания 3D-снимков
Facebook придумала продвинутый способ создания 3D-снимков

Facebook придумала продвинутый способ создания 3D-снимков

Мировая карта применения распознавания лиц
Мировая карта применения распознавания лиц

Мировая карта применения распознавания лиц

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже