Учёный из Института проблем информатики НАН: «Я ещё в 1990-х «юзал» нейросети»

Василий Ковалёв, математик по образованию, начал заниматься анализом цифровых изображений в конце 1980-х, когда «ещё и цветных изображений-то не было». Он жил и работал в Южной Корее, Великобритании, Германии и Швеции, а в конце «нулевых» вернулся в Беларусь, где основал Лабораторию анализа биомедицинских изображений при Институте проблем информатики НАН Беларуси. В 2016 году алгоритм ранней диагностики рака с использованием глубинного обучения и нейросетей, разработанный Ковалёвым и двумя молодыми программистами, вошёл в мировой топ-4. В интервью dev.by кандидат технических наук, заведующий Лабораторией рассказал об удивительном пути в науке и ИТ.

— Вы ещё и в садик не ходили, уже люди «юзали» нейросети. Я впервые начал использовать полносвязные свёрточные сети в 1993 году. Никто не знает, что у нас в Академии наук был такой проект — белорусский нейрокомпьютер. Энтузиасты из Института проблем информатики вступили в дружески-научные отношения с немецким университетом Мангейма, куда мы ездили (и до сих пор ездим) ума набраться, пива попить и швабский бифштекс съесть. Не удивлюсь, если где-то глубоко в подвале стоит этот старинный белорусский нейрокомпьютер. Эх, если бы у нас тогда были сегодняшние технологии и «железо»!

Предыстория: анализ цифровых изображений в 1980-х, примитивные сканеры и самопальные платы

— Сталин умер, лагерь развалили, а на его месте домишки построили, — Василий Ковалёв вспоминает, как в 1950-х перебрался вместе с родителями из-под Могилёва в Казахстан, к дяде. Жили на месте бывшего лагеря Песчаный, он же Особый N11, он же Дальлаг, о котором писал Солженицын и пел Высоцкий. Закончил там школу и «уехал в романтические места» — Сибирь, поступив Томский политехнический институт по специальности «Прикладная математика», где затем довольно долго преподавал. Но «хотелось домой». Вернулся в Минск, в Институт математики НАН Беларуси, в статусе приглашённого специалиста, сразу получив квартиру «навырост».

Лихие 1990-е учёный провёл не в электричках «Брест-Белосток», как приличная часть страны, включая научное сообщество, а в Южной Корее — на научно-техническом проекте своего профиля.

— Я «прильнул» к анализу цифровых изображений в конце 1980-х, когда трудно было получить цифровое изображение как таковое. Были примитивные сканеры и самопальные платы, цифровавшие телесигнал. За счёт проектов в Южной Корее мы потом очень поднялись, получили новейшее оборудование.

После падения «железного занавеса» белорусский учёный начал выезжать в Европу и вскоре перевёз туда семью. В Германии, Великобритании и Швеции Ковалёвы прожили 8 лет. Василий Алексеевич работал в немецком Институте человеческой когнитологии и науки о мозге общества Макса Планка, по его словам, одном из четырёх самых авторитетных учреждений такого профиля в мире. Затем в двух британских университетах — Имперском колледже Лондона  и Университете Суррея (оба в топе самых престижных вузов Великобритании). Выступал на конференциях в Кембридже и Оксфорде. И, наконец, получил приглашение на работу в Монреальский институт нейрологии. Однако вернулся на родину. В 2007 году он основал в Институте проблем информатики НАН Беларуси Лабораторию анализа биомедицинских изображений. «Где с тех пор и процветаем», — заключает Ковалёв.  

Алгоритм диагностики рака: в мировом топ-4

Время от времени Василий Алексеевич и его команда молодых программистов пробуют силы в международных конкурсах на стыке науки и ИТ. Обычно — в свободное от основных рабочих проектов время и бесплатно.

— Это соревнования по какой-либо сложной проблеме, от разработки автопилотов до диагностики болезней. Часть с призовыми фондами до $1 млн, часть —  без. IBM как-то устраивала соревнование на базе своего суперкомпьютера и прислала мне Apple Watch. Сыну подарил: этот белый металл терпеть не могу, как корыто оцинкованное. Но если в таком конкурсе вы попали хотя в десятку призёров, то поиск работы с такой строчкой в CV превращается в сплошное удовольствие.

В 2016 году команда Ковалёва участие в международном конкурсе Tumor Proliferation Assessment Challenge 2016 (TUPAC16). Группы учёных и программистов из более чем 100 стран мира соревновались в разработке алгоритмов ранней диагностики рака. В одной из номинаций белорусы вошли в топ-4, обойдя, к примеру, Университет Южной Флориды (США), Технический университет Мюнхена (Германия), Уорикский университет (Великобритания).

Работа над алгоритмом заняла 4-5 месяцев. Завлаб Василий Ковалёв отвечал за идеи и руководил процессом, научный сотрудник Александр Калиновский занимался нейросетями, младший научный сотрудник Виталий Левчук программировал скрипты и готовил выходные данные.  Кстати, в начале 2017 года Александра «похитили из института» — в стартап Виктора Прокопени Banuba, делающий ставку на исследования и создание комплексных технологий в области компьютерного зрения и дополненной реальности.

Как это сделано: можно обойтись без программирования, если не лезть «в потроха»  

Все команды-участники должны были проанализировать 500 цветных изображений опухолевой ткани рака груди. Эти снимки предоставила Голландия, они сделаны дорогостоящими — до $200 тысяч — сканерами с использованием очень большого увеличения (полнослайдовые изображения). В Беларуси, например, таких сканеров ещё нет.

По сути, нужно было научить алгоритмы предсказывать одну из важнейших характеристик опухоли — степень её агрессивности. То есть найти коэффициент скорости деления клеток, Tumor Proliferation Index (TPI). «Это очень трудная задача: у разных людей даже один и тот же тип опухоли развивается с разной скоростью», — объясняет Ковалёв. Однако нейросети в перспективе смогут справляться с этим «быстрее и лучше ведущих мировых врачей», уверен учёный. Уже сейчас на конференциях врачей-радиологов (рентгенологов) — одной из самых высокооплачиваемых врачебных специализаций в США — разворачиваются дискуссии на тему будущей безработицы.  

Белорусская команда применила два подхода: «по старинке» (Василий Алексеевич сам разрабатывал дескрипторы изображений) и нейросети. Во втором случае использовались методы глубинного обучения и базовые фреймворки Tensor Flow, Caffe.

— Чисто технически можно делать это по-разному. Если поверхностно, то вот один из вариантов: берёте оболочку от Nvidia, внутри которой спрятан фреймворк типа популярного Caffe. Разбрасываете свои изображения по нужным директориям, после чего свёрточные сети сами вытягивают вектор признаков, описывающих изображения. Можно обойтись почти без программирования. Но если хотите залезть внутрь, в «потроха», и достать эти признаки, то должны программировать на чём-нибудь (как правило, на Python). После этого признаки анализирует полносвязная сеть-классификатор типа SVM. Их сейчас море. Ну и чтобы решить громадную задачу оптимизации, нужен или суперкомпьютер, или продвинутая графическая карта. Купили 5 штук Titan X (у каждой на борту 12 Гб быстрой памяти и 3000 ядер), хотя в Беларуси они такие дорогие, что просто жалко.

Результаты работы команда из Института проблем информатики НАН опубликовала на международном портале ResearchGate. Подробное описание можно посмотреть здесь.

А здесь Ковалёв и его команда сравнивают эффективность различных фреймворков глубинного обучения, с точки зрения скорости и точности.

Самая скачиваемая научная работа из Беларуси в 2016-м: качают американцы, китайцы и индусы

Материал про эффективность разных фреймворков вошёл в число самых читаемых работ второй половины 2016 года из Беларуси с количеством загрузок 40-400 в неделю.

— Как думаете, кто чаще скачивает? США, Китай и Индия. Я бывал в Индии, они народ без комплексов и с хитростью, опасные ребята с точки зрения конкуренции. Если они уже осознают значимость научных исследований на стыке с ИТ, то у нас осталось немного времени, чтобы тоже это сделать. Пока же наш хай-тек — не совсем high. Аутсорс, конечно, тоже хорошо, пилишь «от сих до сих», получаешь деньги, всё по-честному. Но будущее — за топовым научным продуктом.

Академия наук тоже заметила результат, включив разработку в топ-10 за 2016 год. Авторам достался «тяжеленный кубок» и около $1000 на троих.

Получится ли из этого научно-инженерный стартап?

Алгоритм — в бесплатном доступе: академическая наука «разрабатывает не заказчику, а для человечества». Можно ли сделать на его основе научно-инженерный стартап, на нехватку которых жалуется, например, Юрий Гурский?

— Именно с этим алгоритмом мы не были первыми или даже десятыми: таких стартапов уже как грибов. Западные университеты нередко дают команде помещение, платят зарплату и ничего не просят в ответ. Есть идея сделать кое-что другое для белорусского рынка: «софтину», которая обнаруживала бы новообразования в лёгких на очень ранней стадии, одиночные «шарики». В госпиталях на Западе их уже ищут автоматически. Рак лёгких — это же киллер №1, особенно среди мужчин.

Правда, пока Василий Алексеевич не встречал инвесторов, которым это было бы интересно: «Они все хотят вложить рубль и получить два, что в общем-то тоже правильно. Но они не хотят платить за науку».

Сканеры за $200 тысяч: почему алгоритм не будет работать в Беларуси

В Беларуси пока нет сканеров, позволяющих оцифровывать образцы ткани в очень высоком разрешении. Они появятся, «когда наше здравоохранение будет богатым». Неподалёку, в Вильнюсе, такое оборудование есть, так что в планах — поработать с литовцами.

— Знаю единственный случай, когда такие изображения были сделаны в Беларуси. Года 4 назад фирма Leica выставляла тут медтехнику, мы договорились с ними и отсканировали свои образцы тканей. В другой раз я пробовал написать в японское посольство, чтобы получить такую машинку «на халяву», но у них бахнула Фукусима, стало не до того. А как-то недавно мне позвонил заведующий патологоанатомической лабораторией Минского городского онкодиспансера Михаил Валерьевич Фридман: зайди, говорит, что-то покажу, ты «завянешь». Захожу и вижу полнослайдовые изображения — совместный проект с японцами. А я уже видел такое в Минске, меня этим не удивишь.

Однако сегодня эти сканеры — далеко не первичная потребность белорусской медицины, говорит Василий Ковалёв.

— Ребята из соседней лаборатории ставят госпитальные информационные системы — 250 компьютеров в одну поликлинику, плюс инфраструктура, плюс научить тётенек вставлять флешку нужной стороной. Представьте, сколько это денег. А ведь это просто база. Помню, Национальный институт здоровья США хотел выделить денег на компьютеризацию РНПЦ пульмонологии и фтизиатрии, но подсчитали — прослезились: не, мы не можем.

«Там я стал бы кем-то»: как отказаться от Монреаля и вернуться в Минск  

После 8 лет в Европе Василий Ковалёв «доблестно вернулся домой»:

— Как говорили на ток-шоу про ИТ в эфире «РТР-Беларусь», все едут в Лондон — а я оттуда вернулся. Привозить ребёнка в последних классах, что мы сделали, это почти самоубийство. Сын закончил английскую школу A-level, но поступать уехал в Германию. Жена тоже не нашла там себя. Ну и в Беларуси меня встретили с распростёртыми объятиями. Хорошо в Беларуси, мне нравится! Не надо просто ненужных мыслей в голову вбивать. И ездить надо много, общаться. Чтобы видеть мир и адекватно его себе представлять. А жить можно где угодно, особенно в ИТ: хоть на Гавайях, хоть в Швейцарии — очень она мне нравится. К слову, сейчас у нас заблокированы научные проекты Союзного государства (у меня их два), так я шучу, что не с тем государством у нас союзное государство: надо бы со Швейцарией, у неё деньги не кончатся никогда.

Пожив в пригороде Лондона Гилфорде, Ковалёв прочувствовал на себе всю справедливость анекдота про «не путай туризм с эмиграцией»:

— Это классный городок с самой высокой зарплатой по Британии. Сначала я приехал по работе, полгода жил в гостинице — тётеньки застилали кровати, вкусный завтрак. Тоска, правда, зелёная заела. Решил, что это идеальное место. И нарисовался уже с семьёй. И началось: кровать уже никто не застилает, зато аренда жилья очень дорогая, плати и туда и сюда, а потом ещё каждый месяц приходит счёт на $250 — за цветочки на клумбах и подметенные улицы.

Незадолго до возвращения в Минск он получил официальное приглашение на работу из Монреаля, где находится один из четырёх ведущих мировых «институтов мозга». Но отказался и до сих пор считает это решение правильным:

— Там я наверняка стал бы кем-то — а не как сейчас. Меня знало бы много людей. Но... решили не ехать. Опять всё сначала? Трудно это.

После того, как Василий Алексеевич завёл себе белорусский почтовый ящик вместо британского, его перестали приглашать выступить с лекцией или поработать: «А я же глупее не стал. Вот так устроена жизнь».

Оба сына Василия Ковалёва работают в ИТ. Один — в Минске, другой — в Париже.

Образование «не очень»: какие ИТ-реформы не получится провернуть быстро  

Василий Ковалёв не хочет делать никаких прогнозов, чем обернутся для белорусского ИТ обещания «зелёного света» на высшем уровне: «Я не лезу в это дело. Не хочу управлять государством». Он уверен в одном: не все нужные реформы можно осуществить быстро.

— Поменять законы в пользу ИТ — это быстро. А что-то нельзя сделать быстро. Вот образование. Оно у нас «не очень, чтобы очень». Кадры преподавательские пожилые и уходят. А новые не приходят. Плюс хронические проблемы с финансированием. Нельзя преподавателю работать за копейки! Человек останется либо потому, что его больше никто не возьмёт, либо потому что сверхэнтузиаст (такие бывают, но редко). Я довольно долго преподавал в Сибири, читал большие поточные лекции на 200-300 человек. Это тяжёлая работа.

Послевоенный СССР шёл грамотным путём, считает Ковалёв — инвестиции в образование, система отбора талантов: «Это работало. Как в песне, текли куда надо каналы и в конце куда надо впадали. Страна не была такой уж развитой, но конкурировала со всем миром, поскольку развивала образование системно. Такие системы создаются десятилетиями».

Белорусское ИТ-образование он тоже считает слишком сиюминутным, «уж очень конкретные знания вдалбливают, которые завтра будут на свалке».

— Какие наши годы, подождём! — и всё-таки учёный полон оптимизма.

Как поднималась Южная Корея: «Утром, ещё немытый, уже по клавишам бьёт»  

В 1990-е Ковалёв провёл год в Южной Корее. Уехать туда пришлось «от голодухи»:  

— Все ушли возить в Польшу розетки, вилки, а обратно — тряпки. Сейчас дико вспомнить. И тут корейцы решили замутить Советско-корейский центр научно-технического сотрудничества. В шикарном кампусе, который им оставили американцы после войны. Получили много денег, набрали команды, много советских специалистов пригласили. Мы взяли хороший проект, получили новейшее американское оборудование: zip-диски тогда только появились, и мы их сразу заказали из США. Набрались там ума. Научились работать по-корейски. Там тогда сурово было: утром весь институт строится и торжественно поднимает флаг, вечером — опускает. И это не Северная Корея, заметьте! Думаете, опустил флаг — и домой? Нет, если ты ушёл после 18.00, ты нехороший человек. Нужно родине дань отдать — ещё часа три. Молодежь вообще не уезжала домой, там же пробки: на тюфячок приляжет, утром — ещё немытый, а по клавишам уже бьёт.

Чужая культура всегда обогащает и полна сюрпризов — и не только научно-технического толка: «Несколько раз были в ситуации, когда 50 девушек выстраивались на выходе из магазина в шеренгу, все такие расфуфыренные, разодетые. Ты идёшь через эту шеренгу, а они по очереди кланяются. Меня аж в жар кинуло, мама родная! Когда в Гилфорд приезжала королева Елизавета на своё 80-летие, её как-то спокойнее встречали, чем меня в Корее».

Южная Корея — готовый мануал на тему «как правильно подниматься с колен», уверен Василий Алексеевич:

— Я наблюдал, как страна поднимается. Она же в 1950-1960-е была в диком состоянии. Потом шили куртки и мудро складывали денежки, потом собирали японские «видики», потом делали накопители и мониторы. Строили заводы, растили кадры, не стеснялись брать чужие технологии. И росли, росли. А то некоторые любят громкие лозунги и начинания, которые сводятся к «хотим всё сразу». Рост — это процесс долгий. Главное, с застоем не путать.

Институт проблем информатики НАН: инженер-программист получает 300 рублей

Перемен хочется и для Института проблем информатики НАН, ведь в каком-то смысле он тоже часть ИТ-индустрии страны.

— Но специфика его такая: нужно делать много работ, которые нужны государству, но они не являются ни наукой, ни бизнесом. Давать экспертизу разным проектам, программам. Примитивный пример: кто знает, сколько платят за интернет в разных странах мира? Институт! Хотя можно просто пойти на сайт Deutsche Telekom и узнать тарифы.

Василий Ковалёв делится «очень частным мнением» о том, что на этой почве институт расслоился:

— Часть лабораторий ушла туда, куда государство явно и неявно направляет: внедрение в производство. Официальные документы требуют, чтобы учёный шёл на конвейер налаживать что-то. Такому учёному не до науки, если честно. Зато эти лаборатории делают конкретные дела и зарабатывают конкретные деньги. (У нас жёсткий хозрасчёт, мы финансово изолированы: к примеру, у меня нет денег, а через стенку — завались, но мне их всё равно не дадут). А те, кто остался в науке, живут на зарплату. Знаете, какой оклад у инженера-программиста из соседней комнаты? 200 рублей. Со всеми мыслимыми законными добавками — 300 рублей. А потом приходит пресса или начальники и говорят: когда стране угля дадите? В том же Институте Макса Планка никто не обязывает «внедрить, на конвейер поставить, догнать, перегнать», но институт имеет солидный бюджет и лучшие мировые результаты во многих областях. И, кстати, там я писал один отчёт за год, и тот на полстраницы, а не производил бумагу.

Лаборатория Ковалёва «пытается балансировать»:

— Сами понимаете, чудес не бывает: где-то не успеваешь. Но нередко результаты очень значимые, хотя мы даже не всегда про них узнаём. Например, есть такая толстая красивая книга о передовых методах анализа медицинских изображений, для которой мы написали главу. Случайно нагуглил: в Калифорнии, в медицинском университете, эта глава входит в список обязательной литературы. Приятно: здесь даже не знают о её существовании, а там это учебник.

ПВТ «похищает» кадры: мы что вам тут, HR-агентство?

— Странная у Института сейчас позиция: жёсткая и неравная конкуренция с ИТ-компаниями. Не хотят у нас работать — денег мало. Студенты подтягивают уровень во время преддипломной практики — и врассыпную. Из-за этого я даже отказался от дипломников: какой смысл? А ещё Европа многих аспирантов забрала. Вначале отдавали, а потом сказали: мы что вам тут, HR-агентство? Мне не хочется быть эйчаром. Теперь мы говорим: хочешь заниматься наукой, диссертацией — пожалуйста. Но работать не разрешаем. Иначе ты ни там, ни там. Ну а старшее поколение, если честно, дорабатывает в науке, потому что его в ПВТ не возьмут.

Впрочем, процесс оттока из науки, по его словам, идёт и в Европе, сбегают «на фирмы», не защитив диссертацию: «Эта плесень много кого поразила».

Финансирование: сбор средств в пользу голодающих учёных

В эфире ток-шоу на «РТР-Беларусь» Василий Ковалёв успел сказать, что денег не хватает, но микрофон у него сразу забрали.

— Если мы посчитаем, сколько денег от общего объёма у нас реально идёт в науку, то прослезимся и объявим сбор средств в пользу голодающих учёных. Я высокой политикой не занимаюсь, но думаю, что одна из реформ очевидна: надо цифры финансирования науки и исследований подтянуть к тем, что на Западе, они ведь известны.

Кстати, если лаборатория получает доходы из совместных с Западом проектов, «этому не всегда рады: что-то многовато!». А некоторые проекты такого рода стали невозможны после того, как Беларусь вышла из соответствующих соглашений.

— Беларусь состояла в ассоциации, которой Запад платил деньги, — Международный научно-технический центр. За их деньги оснастили наш детский онкоцентр, Минский онкодиспансер купил цифровой микроскоп Leica. А у меня был хороший проект на полмиллиона евро, со всеми академическими свободами и нормальным финансированием труда людей. Однако мы взяли и с гордо поднятой головой вышли из этого соглашения (вслед за Россией), не нужны нам ваши деньги поганые. К сожалению, мы не всегда делаем правильные вещи вслед. От института мы даже написали письмо, что мы против выхода из соглашения, — говорит Ковалёв.

Приход Года науки, по его наблюдениям, пока выражается только в одном: журналисты чаще звонят.

«Овцы-волки»: всегда ли белорусский айтишник будет сытым и обутым?

Василий Алексеевич отмечает «напряжение» между белорусскими айтишниками и «неайтишниками»:

— Те нападают, эти отбиваются: у вас зарплата ни за что, а я у станка стою и получаю пшик. Нехорошая ситуация, но уж как есть. Многие люди думают: завтра будет как сегодня. Ничего подобного. Всё обязательно изменится. И в ИТ тоже. Никогда так не бывает, чтобы всё было как всегда. Может, в обозримом будущем зарплата у айтишника будет как у водителя троллейбуса? Возьмите простейшую имитационную модель «овцы-волки»: сначала одних становится меньше, потом других. Это колебательный процесс. Было мало программистов — подтянулись индусы, китайцы, румыны, болгары, наши. А кого теперь не хватает? Инженеров-механиков. А механика из жизни не уходит — вот даже стул вертящийся надо спроектировать.

Про возраст в професии: в 60 лет у нас человек никто   

После Нового года белорусские разработчики алгоритма съездили «ума набраться» в Германию, к коллегам из Немецкого центра исследования рака (DKFZ), отделение биоинформатики (Биоквант), которые обошли их во время соревнования. Там Василий Алексеевич «решил порезвиться по старой памяти» и накодил полторы тысячи строк на С, рассмешив молодёжь, вспоминает он.

— Как в нашей области без языков программирования? Но у нас не промышленное программирование, а «пробное»: ведь нигде нет мануала, как написать программу, анализирующую томограммы мозга. Это же не кефир с завода по магазинам развозить. Поэтому мы много пишем, переписываем, выбрасываем, а если метод работает, то его уже можно закодить прилично, «отлить в металл». Если я перечислю свои языки программирования, то список будет длинный и смешной, начиная с Ассемблера и Кобола и заканчивая С и Python.

В программисты, однако, он бы не пошёл: «Профессия коварная. Троллю иногда айтишников: вы же кодеры! Кодер в 25 — ок, в 30 более-менее, в 35 — подозрительно, в 40 — это уже просто неприлично. А в науке можно быть долго». Зато охотно бы поработал в компаниях ПВТ в качестве менеджера, но не верит, что человека в его возрасте возьмут на такую работу в Парк.

— Это в Великобритании ты в 92 года ещё молодец, а у нас в 60 — никто. Я мог бы быть менеджером в ПВТ или поискать нужные для компаний проекты, людей. Я умею общаться с людьми, как на Западе принято. Но если я приду на собеседование, меня засмеют. Перед поездками на международные конференции и выставки лучше наймут девочек из института физкультуры — они никто в ИТ, но их приятно показать миру.

Беларусь в глобальном мире: попить пивка и начать прорывной проект

— Мы сейчас не так сильно от мира отличаемся, — размышляет заведующий лабораторией анализа биомедицинских изображений, которому есть с чем сравнивать. — Если пройтись по коридорам, то сильно (хорошо, что мои западные партнёры никогда не видели пол в моём кабинете), но в мозгах и в душе — уже не так. Новое поколение продвинутое, шустрое, английский знает. Без английского ведь все двери закрыты. Как оно в жизни делается? С человеком знакомишься, говоришь. Он видит, что ты не дурак, а ты видишь — что он. И что-то получается. Сходили пивка попить со шведами — получился серьёзный проект, улучшающий мир не на словах, а на деле. Сейчас вот ведём переговоры в Skype с госпиталем в Барселоне, может, съездим летом. Там очень толковые специалисты — и весёленькие такие!

 

Фото: Андрей Давыдчик, dev.by

 

Источник: dev.by

Обсуждение

Missing
+2

Статья то хорошая, но, блин:

1) 4-е место из пяти

2) самый стандартный подход к классификации и сегментации (тупо взяли гугловский lenet и юзали обычный sliding window вместо каких-нить state-of-the-art RPN сетей или типо тово)

Вроде бы начала гордость переполнять когда приступил к прочтению, но потом сошло на нет :( просто пацанчики потестили популярные фреймворки

Missing-male
+1

думаю тут не принципиально как обрабатывать целиком или по кусочкам через окно. Это же не видео в реалтайме, что скорость нужна. Тут главное качество классификатора. Скормил фоточку, оно неспеша прошло окном.

Мне другое не понравилось, про то если ты пишешь код после 35 это уже не нормально. Думаю он завидует.

Picture_54?1356409795
faketail
– программист в BELHARD

+2

Ну так он же говорит, что троллит. Но разумное зерно есть, на самом деле если ты кодишь в 35 на том же профессиональном и персональном уровне с точки зрения сложности задач и проектов, как и в 25, то это не есть гуд.

Missing

Пожалуйста, см. мой ответ ниже.

Missing

Пожалуйста, см. мой ответ ниже.

Missing

> Я мог бы быть менеджером в ПВТ или поискать нужные для компаний проекты, людей. Я умею общаться с людьми, как на Западе принято. Но если я приду на собеседование, меня засмеют.

Ну дык приди. Если в самом деле умеешь общаться с людьми, то чего бояться? Ну один дурак найдётся. Ну может два. Но не все точно. В худшем для себя случае просто пообщаешься с умными людьми.

Missing-male
+1

Да не особо похоже, чтобы он сильно хотел, сам себе придумывает с большего успокоительные отговорки, почему не идёт.

А вообще в академических кругах склонны недооценивать коммерческую разработку, да и то как отличается "общение", даже с учетом опыта работы на Западе. С такой мечтой как "Западные университеты нередко дают команде помещение, платят зарплату и ничего не просят в ответ", очень сложно хорошо заменеджить в более хищной атмосфере бизнеса.

Missing
+2

А что, это реальные факты из so-called академических кругов Великобритании, которая вроде не замечена в попустительстве к местным ученым в пользу местных IT.

(Oпять же, кстати, почему-то у нас IT, а у остальных -- ICT (Information and Communication Technology).

То ли остатки Yandex-a, то ли еще какая-то причина.

Picture_54?1356409795
faketail
– программист в BELHARD

+4

Грамотный мужик и не усердствует с нравоучениями и рассказами о персональных свершениях в какие-то былые годы. Но при этом складывается ощущение, что вернулся он сюда на тихую пенсию. Жильё есть (а в Монреале, что в 60 лет ипотеку брать?), какие-то деньги думаю были обставиться, дети в IT. Особо стрессовых задач зато нет, да и амбиций уже не так много. Занимаются академической наукой среднего уровня, ездят раз в год на конференции и на большее не рассчитывают. Как только поднатаскивается кто из молодых валит в компании, за 300 рублей работать это издевательство. За стареющим завлабом смены поколений нет и перспектив у такой науки совсем немного. С образованием та же фигня.

В общем довольно грустная статья.

Missing

Пожалуйста, см. мой ответ ниже.

Missing

> Ну и чтобы решить громадную задачу оптимизации, нужен или суперкомпьютер, или продвинутая графическая карта. Купили 5 штук Titan X (у каждой на борту 12 Гб быстрой памяти и 3000 ядер), хотя в Беларуси они такие дорогие, что просто жалко.

gtx 1080 (а тем более gtx 1080 TI) вполне может хватить для подобных исследований и цена не превышает 800 долларов. Плюс всегда есть amazon, google клауды с GPU-инстансами, где демократичная почасовая оплата, несчитая всякие бонусы в 500-600$ за регистрацию.

Так что не все так грустно

Missing-male

кстате вот тоже вопрос, зачем для вычислений покупать игровые карты. Есть же заточеные под это серии Kepler.

Missing
+3

> заточеные под это серии Kepler

я так понимаю под кеплером вы понимаете теслы k80/40. Так что будем рассматривать их (хотя сейчас уже есть тесла П100, но она уже на Pascal, а не на кеплер)

Тесла - это очень оверхайпнутый продукт. Её стараются купить и вставить везде, даже там где этот апгрейд не обоснован. На ум приходит только совсем немного кейсов где без теслы необойтись. И проведение исследований не входит в это число.

Слово "заточенный под deep learning" больше стереотип, чем объективная действительность. Если уже и употреблять слово "заточенный" (которое отражает преимущество по сравнению с обычными geforce) то тесла скорее заточена под те же диффуры, чем под тренировку сетей.

Сравним tesla k80 и geforce gtx 1080(которая уже на Pascal). цена 3к$ против 600$. и там и там cuda ядра. в тесле намного больше памяти 24 gb против 8 гигов. это конечно гут, можно больше картинок в batch добавлять, но если честно я пока еще не видел что-нить из state-of-the-art архитектур, веса котороых вместе с изображениями не влазили в gtx 1080. Паралелизм: да, больше, за счет чуть большего количества ядер, но не в пять раз. То же самое про другие параметры (в интернете есть куча сравнений)

Какую разницу будет чувствовать человек сравнивая теслу к80 с geforce 1080 тренируя нейронки? Да почти никакую. Просто с geforce нужно будет немного дольше ждать сходимости. То есть с теслой он ждет день, с джифорсом возможно гдето полтора дня. Если у него есть архитектура которая не влазит в geforce, то тогда я бы с ним пообщался, чувак наверное супер крутой.

Так что если вы machine learning энтузиаст или научный сотрудник, то можно нехило сэкономить по бабкам. У самого стоит сейчас 1080 и никаких проблем не испытываю.

Missing-male

Дядька вызывает уважение своей жизнерадостностью и ироничностью. Умеет себя продать, хотя между строк и читается местами легкое лукавство в стиле:

-А много ль корова дает молока?

-Не выдоишь за день, устанет рука!

Как в отмеченном выше моменте про 4е место из 5.

Лучшая фраза всего интервью: никогда так не бывает, чтобы всё было как всегда. В цитатник можно записывать.

А в целом напомнило номер с Галыгиным про функционера закрывшего КВН: https://www.youtube.com/watch?v=s-sMVJrEGwA

Надеюсь, что Василий Алексеевич на меня за такое сравнение не обидится, и его самоиронии хватит на то, чтобы воспринять это как дружеский шарж. В конце-концов не только ему можно 40 летних программистов троллить. :-)

Missing

Пожалуйста, см. мой ответ ниже.

Missing

Юрий, я ответил вам ниже. Спасибо.

Missing

> Хорошо в Беларуси, мне нравится! Не надо просто ненужных мыслей в голову вбивать.

это верно. с ненужными мыслями сейчас надо быть по-осторожней

Missing
+1

Не хватает предпринимательской жилки Василию. А у него столько возможностей, что бы не работать за еду и идею:

1. Нейронные сети, искуственный интеллект - это сейчас мейнстрим, западные инвесторы вкладывают в любые более-менее серьезные проекты.

2. Организовать курсы и делиться накопленными знаниями.

3. Пойти все таки на собеседование в зрелую компанию

Missing
+1

Пожалуйста, см. мой ответ ниже.

Missing
+7

Коллеги,

Спасибо за доброжелательные комменты. Ниже – несколько пояснений, которые я хотел бы сделать.

>> 1) 4-е место из пяти

Михаил, ну конечно-же не из пяти. При пяти конкурс был бы признан не состоявшимся. На форумах вроде мелькала цифра 130, но я точно не помню. Кстати, в другой номинации (первая табличка где мы на 7 месте) – там организаторы почему-то перечислили 11 команд.

По факту, мне очень понравилось, что во второй номинации (где мы четвертые и где предсказывается генетическая скора) всего 5 команд доперли, как ее можно предсказать на основе изображений.

>> 2) самый стандартный подход к классификации и сегментации (тупо взяли гугловский lenet и юзали обычный sliding window

Михаил, тут мы работали с т.наз. полно-слайдовыми изображениями (whole slide images), а они очень большие.

В среднем это порядка 100К * 100К пикселов, т.е. 10 Гб. Поскольку они RGB, т.е. 3 канала, то 30 Гб на одно изображение (в памяти, когда не сжаты). А их таких – сотни. Поэтому взяли Sliding Window.

По этой же причине и видеокарты TITAN X (и то часто было мало памяти).

Как потом выяснилось, один паренек из Немецкого центра исследования рака как-то запихивал все изображения в память (те же CNN). Но он работал на суперкомпьютере и еще наверняка уменьшал исходные изображения.

>> Вроде бы начала гордость переполнять когда приступил к прочтению, но потом сошло на нет :( просто пацанчики потестили популярные фреймворки

Да, эта статейка, мягко говоря, сопливенькая. Я ее даже хотел удалить из открытого доступа. Но у меня есть и приличные. Например, про фундаментальные проблемы изучения мозга человека (на них ссылаются очень долго, а на статьи по ИТ-тематике ссылки умирают очень быстро).

С другой стороны, а что – вбил “правильные” ключевые слова в название – и получил несколько тысяч скачиваний за даром + письма от разработчиков фреймворков Глубокого обучения. Без всяких там Google AdWords.

Получается что я – эффективный менеджер :)

>> В общем довольно грустная статья.

Так и я вам за что. Заметьте – тимлиды и другие категории стареют, Трамп аутсорс душит и т.п. Тенденция, однако.

>> Мне другое не понравилось, про то если ты пишешь код после 35 это уже не нормально. Думаю он завидует.

Да нет. В феврале на выезде накатал 1500 строк на С (а задачу, кстати не закончил – надо завязывать с низкоуровневым программированием). Вчера (пятница) изваял мелкую программку экспорта 3D МРТ изображений мозга в хитроватый 2D для подачи в CNN. Чему тот особо завидовать.

>> Дядька вызывает уважение своей жизнерадостностью и ироничностью.

Спасибо, Юрий. А маркетинг коровы в том мультике и правда был классный.

>> Какую разницу будет чувствовать человек сравнивая теслу к80 с geforce 1080 тренируя нейронки?

Спасибо, Михаил, за практическую информацию. Думаю, до-купим и эту карту тоже для относительно несложных/необъемных задач.

>> Не хватает предпринимательской жилки Василию.

Да, Mike89, это наверно так.

<< Еще раз всем спасибо.

Missing

>>Михаил, тут мы работали с т.наз. полно-слайдовыми изображениями (whole slide images), а они очень большие.

В среднем это порядка 100К * 100К пикселов, т.е. 10 Гб. Поскольку они RGB, т.е. 3 канала, то 30 Гб на одно изображение (в памяти, когда не сжаты). А их таких – сотни. Поэтому взяли Sliding Window.

По этой же причине и видеокарты TITAN X (и то часто было мало памяти).

А насколько чувствительна информация о раке к степени сжатия? То есть можно ли было, например, сделать сжатие x100 и в тоже время глазами определить степень рака? Немец красавчик, но любопытно насколько сильно можно сжимать.

>>Да нет. В феврале на выезде накатал 1500 строк на С (а задачу, кстати не закончил – надо завязывать с низкоуровневым программированием). Вчера (пятница) изваял мелкую программку экспорта 3D МРТ изображений мозга в хитроватый 2D для подачи в CNN. Чему тот особо завидовать.

Если не секрет, можете поделиться програмкой?) делать три дэ конволюции мне пока совершенно не хочется, поэтому хочется узнать, какие люди интересные костыли придумывают, помимо простой классификации каждого слайса МРТ.

Missing

Nvidia's beastly Titan Xp steals the performance crown from the GTX 1080 Ti

The Titan Xp restores natural balance to Nvidia’s lineup by upping CUDA cores and clock speeds. Whereas the original Titan X Pascal (and the GTX 1080 Ti) packed 3,584 CUDA cores, the new version upgrades to a full-fat version of Nvidia’s GP102 graphics processor, with 3,840 cores. Those cores are faster, too, with a boost clock of 1,582MHz compared to the Titan X’s 1,531MHz.

Missing
+6

>> А насколько чувствительна информация о раке к степени сжатия? То есть можно ли было, например, сделать сжатие x100 и в тоже время глазами определить степень рака? Немец красавчик, но любопытно насколько сильно можно сжимать.

Михаил, общего ответа на этот вопрос не существует. Если ваша цель - определение заболевания на ранней стадии (или начала развития метастаз, т.е. появления мелких, буквально из нескольких десятков клеток) агломератов из "нехороших" клеток, то пространственное разрешение очень важно. Если стадия поздняя - то все понятно и на очень небольшом пространственном разрешении, весь образец - сплошная опухоль..

Про агресивность опухоли - при традиционном способе (подсчет клеток в состоянии митоза) - малое разрешение просто бесполезно, вы ничего не увидите.

При генетическом методе - изображения не используются вообще. Там работает биоинформатика (суть - компьютерная генетика).

Я описал 2 различные вещи. Будьте уверены, у Природы есть еще 102. И все разные. Упрощать нельзя.

>> Если не секрет, можете поделиться програмкой?)

Ну да, потом вы меня тут затроллите за в попыхах некрасиво написанные циклы.

А по существу - я выбрасываю в 2D аксиальный, корональный и сагиттальный слои в локальной окрестности воксела + аксиальный, но под 45 градусов вниз. Пока не знаю, хорошо это или плохо.

PS. Я думаю, мы оба понимаем, что это не самое правильное решение в контексте CNN. Но для попробовать - сойдет. Тут ведь экспериментальные данные важнее в 100 раз любой теории (которой нет).


Авторизуйтесь, чтобы оставлять комментарии

Использование материалов, размещенных на сайте, разрешается при условии прямой гиперссылки на dev.by. Ссылка должна быть размещена в подзаголовке или в первом абзаце публикации.
datahata — хостинг в Беларуси