TECH · 20 февраля 2017, 14:06 · Отдел информации dev.by
Что происходит внутри процесса машинного обучения: графические карты

Британская компания Graphcore использовала имеющиеся мощности искусственного интеллекта и специальное ПО для создания карт, иллюстрирующих процеcсы машинного обучения, сообщает Wired.

Иллюстрация: Graphcore / Matt Fyles

Многие из иллюстраций, созданных Graphcore, основаны на ResNet от Microsoft. Это нейронная сеть, которая выиграла соревнование по сортировке изображений ImageNet. Иллюстрация выше показывает граф тренировок архитектуры Microsoft Research RecNet-34. В картинку добавлены цвета, чтобы подчеркнуть интенсивность вычислений —  именно по этой причине центральные части конволюционных слоёв «подсвечены».

Иллюстрация: Graphcore / Matt Fyles

Архитектуру ResNet используют для построения глубоких нейронных сетей для компьютерного зрения и распознавания изображений. На иллюстрации показан прямой пропуск сети ResNet 50, использованный для классификации изображений после тренировок с применением библиотеки нейронных сетей Graphcore.

Иллюстрация: Graphcore / Matt Fyles

Полный прямой и обратный пропуск архитектуры распознавания изображений AlexNet во время использования набора данных ImageNet для обучения. Poplar от Graphcore превращает фреймворки машинного обучения — TensorFlow, MXNet и другие —  в вычислительные графы с 18,7 млн узлов (точка, в которое пересекается две или более связей) и 115,8 млн связей.

Иллюстрация: Graphcore / Matt Fyles

Прямой пропуск архитектуры компьютерного зрения, действующей на IPU (Intelligent Processing Unit — новый тип процессоров, спроектированный для машинного обучения) от Graphcore. Видны слои нейронной сети со связями между ними, отличимыми в центре изображения.

Иллюстрация: Graphcore / Matt Fyles

Иллюстрация графа тренировок ResNet-34 выглядит как МРТ мозга и является одним из первых изображений, показывающих полный граф сети. Можно увидеть интенсивные вычислительные вершины со связями, отмеченными синим цветом.

Иллюстрация: Graphcore / Matt Fyles

Архитектура обучения классификации изображения AlexNet, сделанная в ноябре 2016 года. Узлы в трёх последних слоях отмечены цветом, в то время как остальная часть графа выполнена в чёрно-белых тонах.

Иллюстрация: Graphcore / Matt Fyles

Изображение AlexNet, сделанное месяцем позже. Разные цвета отсылают к типу узла использованному в вычислительном графе. Показаны три полностью связанных слоя в графе — зелёного цвета.

Иллюстрация: Graphcore / Matt Fyles

Иллюстрация прямого пропуска ResNet-34 для распознавания изображений. Граф визуализирует параллельную отправку многочисленных изображения в сеть.

Иллюстрация: Graphcore / Matt Fyles

Университет Иллинойса использует глубинное обучение, чтобы ускорить анализ астрофизических данных, получаемых из гравитационной волны LIGO.

Иллюстрация: Graphcore / Matt Fyles

Иллюстрация работы Microsoft Research ResNet-50 в августе 2016 года. На ней показана часть сети, которая отвечает за предположения при распознавании изображений.

Источник: dev.by
Нашли в тексте ошибку — выделите её и нажмите Ctrl+Enter.
Новые комментарии
Вот смотрите, многие вещи как бы на поверхности. Любой адекватный опытный ИТ-шник вам скажет, что все эти ассоциации ИИ, федерации и прочие профанации, всё это шелуха никому не нужная, и нужная если только для ЧСВ их председателей и членов советов. Сейчас самая насущная необходимость при строительстве ИТ-страны это кадры. И это не только и не столько кадры для ПВТ. Эта не та проблема, которая сейчас закрывается кадрами из россии, украины и даже возвращенцами из США, как здесь. Есть более глобальная проблема с кадрами. Если мы меняем экономику, строим ИТ-страну, то это проблема с ИТ-кадрами для всей экономики: начиная от крупного ИТ-менеджмента ИТ-директоров до последней тестировщицы и сисадмина. И не только их. Сейчас каждый второй специалист должен быть отчасти ИТ-шником. Если мы берем МАЗ или БелАЗ, то в ИТ-стране это уже не будут предприятия в их нынешнем понимании. Они должны стать ИТ-компаниями, как у Маска. Вон точно так же, как идея Грефа - Сбербанк это ИТ-компания с банковской лицензией. Поэтому на МАЗе в ИТ-стране должно работать не 0,5% или 0,05% ИТ-шников, как сейчас (не знаю точно, да это не важно, главное - суть), а 50%, а может и больше. Пусть это не будут все 50% программистов и тестировщиков. Но в любом случае это будут 50% ИТ-шников - людей разбирающихся в ИТ, в современной цифровой экономике и цифровом бизнесе. Вот тогда это будет предприятие ИТ-страны. Тогда хотя бы теоретически появится возможность конкурировать с мировыми компаниями. Пусть даже с тем же Маском. А теперь давайте прикинем, какое количество ИТ-шников в таком случае необходимо в разрезе всей страны? Поэтому толковые уважаемые люди вроде Лознера (или неуважаемый я уже десятый год) и говорят про современный ИТ-университет национального масштаба. Пусть он будет называться как угодно - "ИТ-академия", "ИТ-кластер", пусть он будет построен с нуля или на базе БГУИР, образовательного центра ПВТ или Белхарда или ещё какого-нибудь - это всё уже вторичные вопросы... Пока речь про стратегию и концепцию... Но этот ИТ-университет нужен и должен создаваться с конкретной целью - кадры для ИТ-страны. Не для ПВТ, как сейчас, куда идут лучшие кадры, но который работает на себя, для себя, а не в интересах развития предприятий остальной экономики. И не так как сейчас для остальной экономики - куда идут лузеры не попавшие в ПВТ, которые растворяются в этих 0,05% описанных выше и ничего не могут изменить на предприятиях и делают тоже самое, что и остальные - тупо плывут по течению госрегулирования. Поэтому только когда все предприятия станут одним большим ПВТ - это и будет ИТ-страна. Так казалось бы, что мешает взять не эту девочку, которая при всём к ней уважении, но я не понимаю, какое вообще отношение может иметь к ИТ-стране, а нанять какого-нибудь Богуша или Цепкало. Неужели если взять все их навыки и знания в области управления глобальными процессами такого масштаба (на уровне целого государства), знания в управлении образовательным процессом, те связи, которые есть у этих людей (сравните это всё – с девочкой-пекарем, ещё раз никого не хочу обидеть, просто по фактам и реальному положению вещей) и к этом всему добавить ИТ-экспертизу Мамоненко и его людей, его связи с белорусским ИТ-сообществом и бизнесом – неужели такой союз не смог бы поднять подобный проект? Или хотя бы начать этот проект. Что б остальное ИТ-сообщество + государство подхватило. Проект ИТ-университета, проект, который был бы вкладом в ИТ-страну намного большим, чем любая очередная ассоциация – как бы она там не называлась “искусственного интеллекта”, “блокчейна” и чего там ещё. Почему же они не делают это? Отчасти ответ уже прозвучал выше. Эти все топы и владельцы ИТ-компаний получается, если так по-честному брать - вруны и лицемеры. На самом деле им не нужна ИТ-страна. Какие бы они красивые статьи не писали и интервью не давали. Потому что сами принципы построения ИТ-страны идут в разрез с их интересами. Ведь если будет создан такой университет, сразу встанет вопрос, куда отправлять лучших выпускников? Куда отправлять лучшие кадры? Ведь речь не только про молодежь. А выпускников и квалифицированные кадры надо отправлять в реальный сектор экономики: на МАЗы и БелАЗы и прочие предприятия. В школы, больницы, университеты, органы власти, армию и милицию – всюду отправлять. Что бы во всех сферах создавать ИТ-страну. Так какой владелец ИТ-компании согласиться тратить свои ресурсы на создание такого университета, если потом выпускники должны будут идти не к нему? Нет, на самом дели эти вышеназванные топы и владельцы ИТ-компаний блюдут исключительно свои меркантильные интересы. И им нужен моментальный, краткосрочный эффект. Поэтому занимаются мелким пиаром. Много говорят высоких красивых слов. Но делают гораздо меньшие шаги. Вроде найма не совсем понятной девушки не особо понятно для чего, но не забывая при этом добавить какие то высокопарные слова про “ИТ-страну”.
mihail_che
20.07.2018 в 12:41
Belarusian Dream. Белоруска училась за деньги Госдепа, работала в Нью-Йорке, пекла хлеб в Аризоне, получила американский паспорт — и вернулась строить ИТ-страну

Обсуждение

Missing
+1

ребята создатели статьи. почему нет конкретики - что именно отображается на приведенных картинках? фраза "граф тренировок нейронной сети" не в счет, ибо такого понятия даже google не знает (по крайней мере мой).

Missing

"Граф визуализирует параллельную отправку многочисленных изображения в сеть." Бог с ней с опечаткой, но звучит почти как "в этом фрагменте Пушкин синими занавесками символизирует печаль и отчаяние". Картинки красивые, но что именно они нам говорят непонятно совершенно.

Ba38ac1cb81edcb2d33fbf878757446a?1532046114
-1

Афігенна, але малазразумела. Вось бы паглядзець відэа ў дынаміцы. З тлумачэннямі, што адбываецца.


Авторизуйтесь, чтобы оставлять комментарии

Использование материалов, размещенных на сайте, разрешается при условии прямой гиперссылки на dev.by. Ссылка должна быть размещена в подзаголовке или в первом абзаце публикации.
datahata — хостинг в Беларуси