Что происходит внутри процесса машинного обучения: графические карты

20 февраля 2017, 14:06

Британская компания Graphcore использовала имеющиеся мощности искусственного интеллекта и специальное ПО для создания карт, иллюстрирующих процеcсы машинного обучения, сообщает Wired.

Читать далее

Иллюстрация: Graphcore / Matt Fyles

Многие из иллюстраций, созданных Graphcore, основаны на ResNet от Microsoft. Это нейронная сеть, которая выиграла соревнование по сортировке изображений ImageNet. Иллюстрация выше показывает граф тренировок архитектуры Microsoft Research RecNet-34. В картинку добавлены цвета, чтобы подчеркнуть интенсивность вычислений —  именно по этой причине центральные части конволюционных слоёв «подсвечены».

Иллюстрация: Graphcore / Matt Fyles

Архитектуру ResNet используют для построения глубоких нейронных сетей для компьютерного зрения и распознавания изображений. На иллюстрации показан прямой пропуск сети ResNet 50, использованный для классификации изображений после тренировок с применением библиотеки нейронных сетей Graphcore.

Иллюстрация: Graphcore / Matt Fyles

Полный прямой и обратный пропуск архитектуры распознавания изображений AlexNet во время использования набора данных ImageNet для обучения. Poplar от Graphcore превращает фреймворки машинного обучения — TensorFlow, MXNet и другие —  в вычислительные графы с 18,7 млн узлов (точка, в которое пересекается две или более связей) и 115,8 млн связей.

Иллюстрация: Graphcore / Matt Fyles

Прямой пропуск архитектуры компьютерного зрения, действующей на IPU (Intelligent Processing Unit — новый тип процессоров, спроектированный для машинного обучения) от Graphcore. Видны слои нейронной сети со связями между ними, отличимыми в центре изображения.

Иллюстрация: Graphcore / Matt Fyles

Иллюстрация графа тренировок ResNet-34 выглядит как МРТ мозга и является одним из первых изображений, показывающих полный граф сети. Можно увидеть интенсивные вычислительные вершины со связями, отмеченными синим цветом.

Иллюстрация: Graphcore / Matt Fyles

Архитектура обучения классификации изображения AlexNet, сделанная в ноябре 2016 года. Узлы в трёх последних слоях отмечены цветом, в то время как остальная часть графа выполнена в чёрно-белых тонах.

Иллюстрация: Graphcore / Matt Fyles

Изображение AlexNet, сделанное месяцем позже. Разные цвета отсылают к типу узла использованному в вычислительном графе. Показаны три полностью связанных слоя в графе — зелёного цвета.

Иллюстрация: Graphcore / Matt Fyles

Иллюстрация прямого пропуска ResNet-34 для распознавания изображений. Граф визуализирует параллельную отправку многочисленных изображения в сеть.

Иллюстрация: Graphcore / Matt Fyles

Университет Иллинойса использует глубинное обучение, чтобы ускорить анализ астрофизических данных, получаемых из гравитационной волны LIGO.

Иллюстрация: Graphcore / Matt Fyles

Иллюстрация работы Microsoft Research ResNet-50 в августе 2016 года. На ней показана часть сети, которая отвечает за предположения при распознавании изображений.

Обсуждение