БЕЛАРУСЬ · 09 декабря 2016, 14:15 · yankoits - Journalist в dev.by
Fabby: как стартап Мельничка и Гурского запускает нейронные сети на телефоне в реальном времени

Новая компания сооснователя Maps.me Юрия Мельничка AIMATTER запустила в App Store приложение Fabby, позволяющее менять фон селфи с помощью нейронных сетей. В эксклюзивном интервью dev.by Мельничек рассказал о технологии проигрывания нейросетей на смартфоне, команде и планах проекта.

Юрий Мельничек. Фото: Андрей Давыдчик, dev.by

Из карт — в нейронные сети

— В последние несколько лет я вижу, как происходит технологический прорыв в AI, связанный с нейронными сетями. И мне уже давно хотелось работать в этой области. Но пока я руководил «Картами» в Mail.Ru Group, не хотел параллельно заниматься другим проектом. Поэтому, когда я передал дела по картам – уже понимал, что хочу делать дальше. В мае я ушёл из Mail.ru, и мы начали разрабатывать технологию работы с нейронными сетями на смартфонах в режиме реального времени.

Когда вышла работа Гэтиса, Эккера и Бетге​ A Neural Algorithm of Artistic Style, стало понятно: кто первым реализует её в виде удобного мобильного приложения, которое будет быстро работать, тот соберёт аудиторию в десятки миллионов пользователей.

Вскоре вышла Prisma. Ребята молодцы: запустились очень быстро, удачно договорились по серверам. Мы решили: ok, самая очевидная идея уже реализована, переходим к следующей. Команда ведь собиралась не под конкретный проект, более того, изначальная идея до релиза несколько раз менялась. Различных мобильных историй, которые можно сделать на стыке мобильных приложений и нейронных сетей, мы видели с десяток как минимум.

Со звёздной командой и без внешних инвестиций

Всё финансирование AIMATTER — это собственные деньги четверых учредителей: меня, Юрия Гурского (совместно с фондом Haxus), а также Андрея Кулика и Матвея Ждановича, которые ушли из Google, чтобы присоединиться к нашему проекту. Инвестиции на стадии запуска составили более $500 тысяч, часть этой суммы — деньги от продажи Maps.me. Сейчас наша команда — это 15 человек в двух офисах: в Минске и в Цюрихе.

Профили специалистов самые разные: профи по нейронным сетям, по мобильным GPU, люди с глубоким знанием алгоритмов, UI-программисты. Мы понемногу расширяем команду. Иногда знакомишься с человеком и сразу понимаешь: если он присоединится, то здорово обогатит команду новым мнением. Таких людей мы зовём к себе, а так активно не нанимаем. Сейчас исключение — очень нужен программист под Android. Цели стать крупным работодателем у нас нет — куда важнее делать интересные вещи и стать большой компанией по деньгам, а не по количеству человек

Иллюстрация: Fabby

Как это работает

Fabby — первое приложение AIMATTER. Его основа — наш собственный фреймворк для проигрывания нейронных сетей непосредственно на телефоне. Нейронные сети мы обучаем на серверах, а уже обученные модели проигрываем на телефоне. Одна нейронная сеть умеет отмечать и обводить на фото людей. Ещё несколько нейронных сетей тренируются под каждый доступный в приложении стиль. Чтобы гладко вписывать силуэт человека в некоторые фоны, нужно дополнительно решать дифференциальные уравнения — эти вычисления тоже происходят на самом телефоне.

Технология проигрывания нейронных сетей доступна в Fabby в двух вариантах: более медленный выполняет всю работу на CPU телефона, более быстрый — на GPU. Вариант с CPU работает с временной задержкой, зато он поддерживается старыми телефонами — приложение работает даже на iPhone 4s.

Быстрый вариант пока доступен только на топовых телефонах: он требует поддержки вычислений на GPU, которые сейчас есть только в последних iPhone и флагманских Android-девайсах. Но мы ведь строим компанию не на два месяца, а на будущее. Через два года производительность сегодняшних флагманов станет доступной повсеместно, и мы рассчитываем на это.  

Что ещё будет в Fabby: расширенное распознавание и обработка видео в real-time

Пока приложение не обрабатывает видео в реальном времени, но мы над этим работаем — это первое направление развития проекта. Мы посчитали, что отсутствие real-time — не причина откладывать релиз. Тем более, что сейчас для нас самое ценное — это фидбек от пользователей.

Я вспоминаю первую версию Maps.me — она была просто ужасной! Зато когда мы её запустили, то получили очень много полезных отзывов, и это того стоило. Мы рассчитываем, что и сейчас за счёт раннего запуска сможем собрать максимум информации: понять, где и почему наши нейронные сети не работают, узнать, как люди могут использовать технологию. За счёт этой информации мы сможем дотренировать наши модели.

Второй приоритет — расширить возможности распознавания объектов. Мы не собираемся ограничиваться вырезанием и заменой фона вокруг силуэта человека. Скоро добавим поддержку нескольких человек, людей в полный рост, кошек и собак. А в перспективе — выделение самого важного объекта на фотографии..  

Пока Fabby является игрушкой, и мы надеемся, что она понравится пользователям. Но применений для самой технологии множество. Самое очевидное — заменять фон во время видеоконференций, чтобы можно было использовать видеосвязь, например, из дома и не стеснятся, что там на заднем плане.

Что дальше: исследовательский центр и Голливуд в смартфоне

Долгосрочная цель AIMATTER — построить в Беларуси большой исследовательский центр в сфере нейронных сетей и искусственного интеллекта. Думаю, за этими сферами глобальное будущее. В Беларуси очень много крутых специалистов, умных молодых людей, которые хотят развиваться в этом направлении. Я считаю, что всё сходится — время, место, мои личные способности, наши с партнёрами стремления и желания.

Глобальные цели — хорошо, но важно, чтобы команда занималась конкретными задачами. Fabby — реализация одной из таких задач. Наша цель в направлении computer vision — понимать, что происходит на видео, и в реальном времени менять этот ролик, делать его интереснее. Глобальная задача для Fabby — дать пользователю смартфона возможности работы с видео, которые сейчас есть у Голливуда.

Параллельно с направлением computer vision мы начали разрабатывать технологию по работе нейронных сетей со звуком. Исследований в области звука на сегодня значительно меньше, нам предстоит сделать ещё очень многое. Рассказывать пока рано – исследования только в начальной стадии. Сейчас мы активно ищем Android-разработчика. Пока Fabby вышла только под iOS: запуститься там проще, поскольку платформа сильно унифицирована. С Android всё намного сложнее из-за большого разнообразия устройств, камер, чипов. Релиз мы планируем через несколько месяцев.

Будущее нейронных сетей: от анимированных селфи к освобождению рабочих мест

Под «искусственным интеллектом» люди обычно имеют в виду general intelligence — интеллект, соответствующий человеческому. До него технологиям ещё очень далеко. Нейронные сети позволяют решать задачи, которые раньше могли решать только люди, но это не самые интеллектуальные задачи. Отличить кошку от собаки на видео, распознать человеческую речь, обвести силуэт на картинке — это может сделать практически каждый.

Зато широкое внедрение этих технологий позволит автоматизировать множество рабочих мест, которые сейчас заняты людьми. Водители, грузчики, охранный персонал, следящий за картинкой с камеры видеонаблюдения, работники метро, которые следят за эскалатором и останавливают его, если кто-то упал на ленте. Во всех этих работах не нужно использовать то, что мы называем интеллектом, — нужно просто присутствие человека, его реакция.

Автоматизация таких профессий неизбежна, и она вызовет огромные изменения в обществе. У людей должно освобождаться всё больше и больше свободного времени, и это станет новой проблемой человечества. Вероятно, решать её будет или безусловный базовый доход, который позволит многим людям не работать совсем, или сильное сокращение рабочей недели. И то, и другое приведёт к буму индустрии развлечений и буму путешествий. Что дальше? Это вопрос уже к фантастам.

Юрий Гурский: как начинался Fabby 

«16 апреля этого года мы ехали в аэропорт с Юрием Мельничком и накидывали всякие разные идеи. И решили, что надо сделать технологию, способную отделять человека от фона на «лайв»-видео. Для чатов, делового общения и пр. Ну приятнее когда пляж сзади, а не трусы на верёвке.

В итоге сделали технологию, способную выделить не только человека, но и что угодно. Всё работает на девайсе, модно, по-пацански... Пару недель — и будет полностью [готово] «лайв»-видео и комбинированная реальность для общения. А главное — ядро готово, и можно во всякие серьёзные темы пойти тоже».  

 

Подробнее узнать о новом проекте Юрия Мельничка можно будет на AI Hackathon в Минске, который пройдёт при поддержке венчурного фонда Haxus 16-18 декабря в Парке высоких технологий.

Источник: dev.by
Новые комментарии

Обсуждение

Missing-male
+3

http://probusiness.by/tech/2235-yuriy-melnichek-my-khotim-chtoby-mozg-muravya-poyavilsya-v-telefone.html

Мы хотим, чтобы «мозг муравья» появился в телефоне

это и есть тот самый мозг муравья? или старые добрые тензоры на телефоне?

Missing-male

ухтыбожемой

как прагрысиуна

Missing-male
+2

Куй железо пока горячо :-D Будут пилить пока планете это не приестся.

Missing-male

Дауж. Для кого такое "прогрессивное" ПО делается?

Missing
+10

у кого-нибудь на телефоне стоит MSQRD или эта очень нужная программа ?

Missing
+5

К сожалению или нет, но ни разу ничего из этого (призмы, маскарады, фабби и пр.)не запускал. Как же скучно я живу - аж самому стало страшно. Есть ощущение, что это и не выйдет за пределы развлечений особо (как бизнес). Денег накосят - да, пока горячо. Кажется, мир сворачивает несколько не туда в определении того, что есть успех и что есть крутое приложение )))

63637f4ec5ea136f9d17ce151501368e?1401052531

Расскажите же, что такое крутое приложение?

Хотя бы пример или словесное описание?

Missing
+5

На мой субъективный взгляд - Navitel действительно крутое приложение.

Missing-male
SaZ
– Qt expert в iCCup

+2

DropBox, BitSync, Chrome.

Из ускоспециализированных - MagicPlan.

Missing
+4

будильник- крутое и полезное приложение.

Missing-male

Мне Призма очень помогла дотянуть низкокачественную картинку до уровня "можно печатать на майке". Жалко, геморроя было много с тем, чтобы исходное изображение на 9 фрагментов нарезать, а потом склеивать.

Missing-male
+3

Кажется, мир сворачивает несколько не туда в определении того, что есть успех и что есть крутое приложение: +1

Рассказали бы лучше о тех дифференциальных уравнениях...

Missing

"А главное — ядро готово, и можно во всякие серьёзные темы пойти тоже"

Видно, что люди все еще в поиске применения своих наработок.

Научились реализовывать какую-то задачу, а вот приложения пока не находят. Приходится лепить маскарады.

Missing

С AI всегда так было - любой тред заканчивался "... и космические корабли будут бороздить просторы вселенной"

Ничего не поменялось :)

Если делать аппы для тинейджеров, то не будет никаких "серьезных тем", кроме аппов для тинейджеров.

Вот недавно статья была про контору, которая crowd source платформу делает - имхо уже реально серьезная тема, и реально полезная. И там хорошо было описан сам процесс. Вообще ничего общего не имеет с этим "набросал идею по пути в аэропорт" и гламурными фоточками.

Ребята молодцы, в стартаперском стиле заработают на хлеб с маслом еще раз.

А исследовательский центр улыбнул :)


Авторизуйтесь, чтобы оставлять комментарии

Использование материалов, размещенных на сайте, разрешается при условии прямой гиперссылки на dev.by. Ссылка должна быть размещена в подзаголовке или в первом абзаце публикации.
datahata — хостинг в Беларуси