Селфи & healthy. Разработчики из Минска делают приложение, которое находит болезни по фотографиям глаз

22 комментария
Селфи & healthy. Разработчики из Минска делают приложение, которое находит болезни по фотографиям глаз

CEO и CTO стартапа Deepdee Ярослав Лихачевский и Алексей Кузьменков более года работают над приложением для диагностики заболеваний по снимку глазного дна. Они уже получили приз и поддержку от Юрия Зиссера, прошли акселерацию в голландском Rockstart и представили достойный питч на демо-дне.

Читать далее…

Недавно Deepdee начал работать с лидером в офтальмологии в Нидерландах — клиникой The Rotterdam Eye Hospital. Команда ведёт переговоры с крупнейшим в стране клиническим центром Erasmus MC.

В интервью dev.by разработчики рассказали о планах привлечь инвестиции уже этой осенью и открыть в Минске офис разработки. В нём будут работать инженеры и врачи.

Возня с нейросетями + семейный бэкграунд: как появилась идея, которая впечатлила европейских врачей

Идея проекта возникла не так, как учат бизнес-школах или пишут в книгах, признаётся Ярослав Лихачевский. Всё началось с того, что разработчикам было интересно «повозиться с нейросетями, как с конструктором». Ребята были уверены, что технология, вокруг которой столько хайпа, «изменит уклад в мире» — хотелось успеть на этот поезд.

На первом AI Hackathon, который прошёл в декабре 2016 года при поддержке Haxus, команда представила свой результат работы с нейросетями — переводчик с языка жестов. Разработчики признаются, что в финал они так и не пробились, поскольку «всё работало медленно и криво». Бизнес-часть также подкачала — идея устанавливать сервис в супермаркетах на кассах, чтобы люди с ограниченными возможностями по слуху могли общаться с продавцами, не нашла поддержки.

— Месяц спустя я подумал, почему бы не использовать «семейный бэкграунд»: у меня же мама офтальмолог, — рассказывает Ярослав.  

Он предложил применить рабочую технологию распознавания изображений для диагностики офтальмологических заболеваний по фотографии глаза. Однако офтальмолог Ольга Лихачевская, которая позже присоединилась к команде Deepdee, на первом этапе идею отвергла. Позже она заметила: «Вы делаете не то: нужно не сам глаз фотографировать, а делать снимок глазного дна». И рассказала, как по состоянию глазного дна можно выявлять и оценивать не только заболевания, но даже начальные изменения в организме человека.

Ярослав и Алексей пришли с этой идеей на хакатон Social Weekend и выиграли. Проект поддержал Юрий Зиссер: вручил главный приз в 1,5 тысяч рублей на развитие проекта, а также помог отправить стартап на международную технологическую конференцию Slash. Разработчики говорят, что их история началась именно там.

— На Slash мы познакомились с Rockstart, а наши врачи — с Bayer Foundations, и нашли с ними общий язык. Сначала Юрий Анатольевич, а затем и специалисты фонда Bayer убедили врачей в том, что мы «делаем большое дело», — и наши медики наконец поверили, что из этого может что-то получиться.

Белорусы изучали и другие программы с healthcare-треком, но в итоге остановились на Rockstart. На переезд всей команды не было денег, поэтому в Нидерланды отправилась core-team из двух разработчиков. Врачи к ним приезжали.

Конечная цель — решение на мобильных телефонах для домашнего пользования

К сентябрю программа Deepdee в Rockstart закончится. Стартап основательно вырос за полгода.

— Мы ехали в акселератор с идеей и прототипом — не было даже бизнес-модели. На отборе открыто признавались: у нас есть техническая экспертиза, но необходимо бизнес-решение — что можно «выжать» из продукта. В Rockstart сказали: «Fair deal!»

Стартаперы признаются, было непросто: команды в акселераторе находились на разных стадиях, и Deepdee — на самой ранней. У других уже был трекшен, они получали фидбэк от рынка, а кое-кто даже приличный доход. Белорусам пришлось ускоряться.

У команды появился первый клинический партнёр — крупнейшая в стране офтальмологическая больница The Rotterdam Eye Hospital с лучшей в Нидерландах научной базой. Её врачи принимают около 150 тысяч пациентов в год.

— До того, как мы подписали с ними с документы, приходилось объяснять, кто мы, откуда и чем вообще занимаемся. Теперь к нам другое отношение.

В акселераторе Deepdee определились с клиентом. До этого перебирали разные варианты. Менторы на Social Weekend предлагали даже поставить в магазинах фото-будки со специальным ПО: зашёл внутрь, сфотографировал глаз — и получаешь результат.

В Нидерландах появилось в разы больше идей и возможностей.

Разработчики намерены сфокусироваться на optician chains — глобальной сети магазинов по продаже оптики и контактных линз (их специалисты имеют возможность делать снимки глазного дна пациентам — прим. ред.), а также семейных врачах, к которым они придут через агрегаторов, занимающихся телемедициной. Конечная цель команды — чтобы решение было доступно на мобильных телефонах, и люди могли пользоваться им дома.

Сейчас участники стартапа размышляют над тем, как с помощью фронтальной камеры смартфона получать нужные им изображения (сейчас такие снимки делают в специализированных учреждениях при помощи фундус-камер; также существуют специальные линзы для телефона — прим. ред.). Они начали общаться на этот счёт с одним из производителей мобильных телефонов.

— Всё движется к тому, что медицинская диагностика начнёт приходить в дома. И на данный момент мобильный телефон в сочетании с носимыми девайсами — это лучший интерфейс для того, чтобы доставить медицинскую помощь человеку на дом.

Но прежде предстоит долгий путь: в healthcare «нельзя просто задевелопить аппу, запаблишить её и получать доход». Сначала придётся пройти сертификацию. Коллеги, уже проходившие через эту процедуру с AI-продуктами, отмечают, что единой схемы здесь ещё не выработано — а значит, придётся пробивать головой стену.

Сроки и трудозатраты: «далеко не 40 часов в неделю», без выходных

Команда озвучивает планы с осторожностью: первый инвестиционный раунд будет направлен на R& D и выход на рынок, следующий — на масштабирование.

Говоря о трудозатратах на разработку Ярослав Лихачевский отмечает, что их непросто оценить. С осени он затормозил предыдущий проект и всё время посвятил Deepdee. Алексей и врачи работали по вечерам и в выходные. В акселераторе разработчики работают фултайм и «далеко не 40 часов в неделю». Уйти из офиса за полночь для них обычное дело, слово «выходные» вообще ушло из лексикона.

Алексей Кузьменков добавляет, что это нормальный сценарий для стартапов:

— К тому же, когда ты работаешь с одним из лучших в Европе специалистов по глаукоме, и он готов отвечать на твоё письмо в 10-11 часов вечера, ты не можешь позволить себе расслабиться.

Инвестиции: «с финансами в этой сфере в Европе никаких проблем нет»

Подсчитывая финансовые затраты, собеседники dev.by поясняют, что на время акселерационной программы Rockstart инвестировал наличными в развитие Deepdee так называемые pizza money — 20 тысяч евро.

Проект привлёк к себе внимание инвесторов из Бенилюкса, а также из других стран Европы: Ярослав и Алексей достойно провели демо-день, их проект был признан одним из многообещающих, по итогам акселерации в Rockstart. Также стартап принял участие в конкурсе Emerging Europe Awards и победил в номинации Social Impact Startup of the Year.

Rockstart оценивает стартап в 1,2 млн евро. Но его участники считают эту оценку формальной, отмечая что «реальная будет после инвестиционного раунда», намеченного на осень.

Ярослав Лихачевский подчёркивает, что «с финансами в этой сфере в Европе никаких проблем нет». Существует немало грантов, а банки дают дешёвые займы для инновационных компаний. Это даже дешевле, чем инвестиции. Однако команду интересуют именно smart money — умные деньги в комплекте со связями и медицинской экспертизой.

Датасет, который «даже снится»: четверть миллиона снимков

Участники стартапа отмечают, что разработка в основном легла на плечи CTO проекта Алексея Кузьменкова. Поскольку изначально он не Data Scientist, приходилось «копаться», вникать в суть.

Очень много времени отнимала работа с картинками:

— Мы перебирали варианты: и чёрно-белые, и цветные, пытались «вытягивать» их. Как-то я целых две недели занимался только ими, пересмотрел по кругу, наверное тысяч сто фотографий — громадный датасет. Мне эти глаза даже снились, — вспоминает Алексей.

Когда разработчик видел красный сигнал светофора, ему казалось, там проступают сосуды.

Участники команды рассказывают, что первые снимки брали в открытом доступе: на kaggle.com они нашли датасет с данными от Калифорнийского технологического института. Правда, снимки оказались, во-первых, не самого лучшего качества, во-вторых, размечены неверно. Немало снимков якобы «здоровых глаз» было тогда забраковано.

Углубляясь в технические подробности, разработчики поясняют, что сегодня работают с Tensorflow и сетью Inception, которую они перебрали. В базе Deepdee уже около 250 000 снимков, но не весь этот датасет ещё размечен.

— Собственно поэтому мы и хотим набрать в офис врачей — нам всегда нужна будет помощь специалистов в разметке снимков.

В будущий офис разработки также планируется нанять инженеров.

Система распознаёт 10 болезней, одну из них с точностью более 90%

Приложение, над которым трудится команда Deepdee, сегодня распознаёт до 10 болезней. При этом точность, с которой система диагностирует диабетическую ретинопатию (осложнение сахарного диабета) превышает 90%. Разработчики сфокусировались на этом заболевании, потому что оно встречается на снимках чаще, чем другие болезни, распознаваемые по состоянию сетчатки глаза. Для выхода на рынок этого пока достаточно: в мире полмиллиарда людей, страдающих диабетом. Все они нуждаются в регулярном скрининге, так как прогрессирование ретинопатии приводит к ухудшению или потере зрения.

При этом разработчики отмечают, что процесс обучения модели продолжается и вряд ли закончится в ближайшее время.

— Вместе со специалистами The Rotterdam Eye Hospital мы собираемся делать проект по глаукоме. Эксперты клиники будут собирать данные и размечать их, а мы затем интегрируем проект в общее решение.

Также в планах у разработчиков — собрать датасет по возрастной макулодистрофии.

В roadmap стартапа включены неврологические и сердечно-сосудистые заболевания, которые можно диагностировать по состоянию глазного дна.

Фото: Андрей Давыдчик

Хотите сообщить важную новость? Пишите в Телеграм-бот.

А также подписывайтесь на наш Телеграм-канал.

Горячие события

Gismart Online Meetup
9 декабря

Gismart Online Meetup

Минск

Читайте также

Топ-10 «единорогов» мира с самой высокой рыночной оценкой
Топ-10 «единорогов» мира с самой высокой рыночной оценкой
Топ-10 «единорогов» мира с самой высокой рыночной оценкой
Технологические стартапы США жалуются на сложности с наймом иммигрантов из-за новых визовых правил
Технологические стартапы США жалуются на сложности с наймом иммигрантов из-за новых визовых правил
Технологические стартапы США жалуются на сложности с наймом иммигрантов из-за новых визовых правил
1 комментарий
Y Combinator запускает онлайн-курс для будущих фаундеров
Y Combinator запускает онлайн-курс для будущих фаундеров
Y Combinator запускает онлайн-курс для будущих фаундеров
В Японии придумали антиковидную маску-переводчик
В Японии придумали антиковидную маску-переводчик
В Японии придумали антиковидную маску-переводчик

Обсуждение

0

Оценить по селфи состояние глазного дна? Зачем такие заголовки? Что бы сделать снимок нужно оборудование, а в сфере медоборудование такая диагностика так себе ноу-хау.

1

Крутой проект, который решеает конкретную проблему, а не "меняет мир". Успехов ребятам, и побыстрее занять нишу. Технология не выглядит супер сложной, но если смогут самыми первыми нормально реализовать и получить клиентов, то отожмут себе кусочек рынка.

1

Вообще, в планах конечно и мир поменять :) Но сначала будет полезно хотя бы нишу занять. А оттуда уже и дальше расти можно.

0

ярослав, я маленько запутался в изложении журналистами вашей работы. с одной стороны, фотографии глазного дна, с другой, селфи. если первое, то глазное дно и так изучает офтальмолог - вы хотите помочь ему определить болезнь? если второе, то, вероятно, ваш апп сможет определить только очень явные глазные болезни?

6

Во-первых, спасибо за интерес к медицинскому проекту :)
В первую очередь, слово селфи - это инициатива редактора девбай. К сожалению, мне не называют его имя :)
Касательно врача. Если пациент пришел в кабинет к узкому специалисту, значит его время уже потрачено и страховая уже раскошелилась. Если можно здорового (или пациента, которому не требуется врачебная помощь) продиагностировать дистанционно - это вин.
С другой стороны, многие пациенты приходят к врачу только когда болезнь уже запущена. Это значит, что лечение дольше, сильно дороже и болезненнее для пациента. Времени врача потрачено еще больше, страховая раскошелилась еще сильнее. Если таких пациентов, за счет более простого, дешёвого и доступного скрининга можно выявлять на ранних стадиях - это вин-вин.
При этом, в развитых странах с рыночной экономикой, естественно умеют считать свои деньги и оптимизировать.
Простой пример. Диабетки. Им нужно дважды в год проверять сетчатку на появление кровоизлияний (ретинопатия), которые, если не заметить и не начать лечить во время, ведут прямиком к слепоте.
Процедура следующая: пациенты делают снимки (в магазинах оптики, у семейных врачей), после снимки отправляют в reading center, где сидят ридеры. Офтальмологи, которые занимаются только тем, что читают снимки. Это в разы дешевле, чем ходить на осмотр к офтальмологу в ближайшую больницу. Но только ридинг центр в Роттердаме, с которым сейчас пытаемся завязать отношения, за прошлый год "скушал" €20млн. И конечно они мечтают сократить эти расходы хотя бы до 10ти, а лучше до 2х, за счет автоматизации процесса распознавания снимков.
"Селфи" - это далекие планы и большая мечта. Если заставить фронтальную камеру сканить сетчатку с достаточной детализацией, то это даст потрясающие возможности для постоянного контроля за здоровьем. Но пока, это не более чем концепт.

1

И еще. Очень явные для человека и очень явные для CNN - это разные вещи.
Например, выявление глаукомы только по снимку - суперсложная задача для врача. Единицы могут делать это с sensitivity и specificity выше 90%. Но те врачи, которые могут, верят, что и модель можно обучить с такой же точностью.
Другие, впрочем, не верят. Но мы попробуем :)

0

Главное не пытаться ничего диагностировать и лечить каким-то бы то ни было приложением по фото - а то будешь сам себе злобный буратино)))

2

вот ваши конкуренты - так они на спец оборудование делает кучку снимков глаз (и это скорее всего далеко не фото)
https://dev.by/lenta/main/deepmind-nauchili-raspoznavat-zabolevaniya-glaz-na-urovne-deystvuyuschih-medikov
а вообще подход "болезнь по фото" смахивает на лечение кашпировского и антинаучен по своей природе))

1

Мы работаем с теми же самыми врачами и данными, что и наши "конкуренты". Делаем правда что, на данный момент, немного другое и для другого сегмента медицинского рынка. Что касается фото, Вы можете назвать это биомедицинскими изображениями, но, как говорится, грудь от этого больше не станет :)

0

Я так понимаю, что реальный врач точно также диагностирует болезнь по фото глазного дна. И ,например, если при диагностике false negative(когда у пациента есть болезнь, а модель его не определила) стремиться к нулю, а false positive(когда болезни нет, а модель определяет, что есть) будет приемлимым, чтобы тратить время врача на подтверждение диагноза, то очень даже рабочий вариант, который экономит время квалифицированного персонала -> денюжки -> возможно сделает доступней(дешевле) диагностику для людей. И если то, что в презе правда, и количество больных на врача растет, то без таких технологий люди так и так без диагностики остаются.

0

Совершенно верно. Все так.
Сейчас оптимизируют за счет телемедицины. То есть, снимки делаются вне больничных стен. В магазинах оптики, семейными врачами, в африканских странах - выездными бригадами медиков (но не узкими, дорогими, специалистами, а условно терапевтами, медсестрами). Потом уже эти снимки отправляются на ручную обработку живым офтальмологам. Идея автоматизации, на самом деле, лежит на поверхности.

5

>> Как-то я целых две недели занимался только ими, пересмотрел по кругу, наверное тысяч сто фотографий — громадный датасет. Мне эти глаза даже снились, — вспоминает Алексей. Когда разработчик видел красный сигнал светофора, ему казалось, там проступают сосуды.
Дев.бай, отдельное вам спасибо, что по итогам интервью с работниками Flo ничего подобного не писали.

2

1. Про 90% -- интересно было бы узнать при этом про баланс классов, про AUC под ROC и прочее. Мой любимый пример для студентов -- продать программу автоматизации диагностики органов грудной клетки в телемедицинскую систему скрининга в РБ, которая ВСЕГДА говорит Здоров и стоит поэтому 0 долларов. Ведь ее точность будет не менее 95-98% И вы знаете, почему.

0

Василий Ковалев, добрый день.
Вы задаете правильные вопросы и да, мы знаем почему.
На данный момент мы не можем освещать цифры кроме тех, которые уже озвучены. Официальные результаты будут после проведения клинических испытаний.

1

2. Но главный вопрос здесь, по моему мнению. -- это вопрос лицензирования (особенно в Европе), которое может длиться не один год и стоить очень дорого.

Я уже не говорю о том, кто и какими деньгами будет отвечать в суде родственникам в случае ошибок диагностики, ошибок лечения и др. В той же Европе. Да и у нас.

Вопрос автоматизации диагностики возник не вчера. И юридических проблем там по сей день вагон. Особенно за пределами РБ.

0

Мы над этим работаем. Это первое о чем мы думали начиная проект, а иначе система носит сугубо рекомендательный характер.

2

3. Я сейчас на некотором мероприятии. Только что был доклад про автоматизации распознавания настоящей сетчатки глаза и сетчатки глаза умерших людей в проблеме предотвращения атак в серьезных системах.

Ребята натренировали сети, CNN, TensorFkow и прочие вещи. Но потом выяснилось, что признаком для сети была совсем не сетчатка, а наличие проволочных скобок, которыми открывали закрытые глаза умерших при съёмке Типа как в случае котов и собак псевдопризнак это травка внизу, на которой часто снимают собачек, но не котиков

0

Можете поделиться какое мероприятие и какой доклад ? Проблема понятна, интересно почитать.

0

Это была летняя школа для магистрантов и аспирантов в одной промышленно развитой стране, где мы совместно с коллегами из Европы учили их распознаванию изображений и спектров, т.е. некоторое специализированное платное мероприятие. Ничего особенного.

Если Вам это интересно, то можете просто на этапе предишена построить карты "важности" участков изображений (типа saliency maps) на основе выходных вероятностей натренированной сети.

2

И в завершение несколько ссылок на аналоги . Они наверно не все релевантные, но их много. Загуглил по словам:. eye retina deep learning

https://www.nature.com/articles/d41586-018-02431-1

https://www.ncbi.nlm.nih.gov/pubmed/29234807

https://blogs.nvidia.com/blog/2017/12/18/how-deep-learning-detects-eye-disease/

Можно начать с последней с блогом Nvidia какраз на эту тему.

Артем Концевой
Артем Концевой Publisher в dev.by

Комментарий скрыт за нарушение правил комментирования.

Del

1

https://drive.google.com/file/d/1e4AN1he47CrZEgc8daWKPs6ilatX7Ff3/view - я так понимаю такая табличка это чтобы у приложения пользователей добавилось

Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже