Селфи & healthy. Разработчики из Минска делают приложение, которое находит болезни по фотографиям глаз

22 комментария
Селфи & healthy. Разработчики из Минска делают приложение, которое находит болезни по фотографиям глаз

CEO и CTO стартапа Deepdee Ярослав Лихачевский и Алексей Кузьменков более года работают над приложением для диагностики заболеваний по снимку глазного дна. Они уже получили приз и поддержку от Юрия Зиссера, прошли акселерацию в голландском Rockstart и представили достойный питч на демо-дне.

Читать далее…

Недавно Deepdee начал работать с лидером в офтальмологии в Нидерландах — клиникой The Rotterdam Eye Hospital. Команда ведёт переговоры с крупнейшим в стране клиническим центром Erasmus MC.

В интервью dev.by разработчики рассказали о планах привлечь инвестиции уже этой осенью и открыть в Минске офис разработки. В нём будут работать инженеры и врачи.

Возня с нейросетями + семейный бэкграунд: как появилась идея, которая впечатлила европейских врачей

Идея проекта возникла не так, как учат бизнес-школах или пишут в книгах, признаётся Ярослав Лихачевский. Всё началось с того, что разработчикам было интересно «повозиться с нейросетями, как с конструктором». Ребята были уверены, что технология, вокруг которой столько хайпа, «изменит уклад в мире» — хотелось успеть на этот поезд.

На первом AI Hackathon, который прошёл в декабре 2016 года при поддержке Haxus, команда представила свой результат работы с нейросетями — переводчик с языка жестов. Разработчики признаются, что в финал они так и не пробились, поскольку «всё работало медленно и криво». Бизнес-часть также подкачала — идея устанавливать сервис в супермаркетах на кассах, чтобы люди с ограниченными возможностями по слуху могли общаться с продавцами, не нашла поддержки.

— Месяц спустя я подумал, почему бы не использовать «семейный бэкграунд»: у меня же мама офтальмолог, — рассказывает Ярослав.  

Он предложил применить рабочую технологию распознавания изображений для диагностики офтальмологических заболеваний по фотографии глаза. Однако офтальмолог Ольга Лихачевская, которая позже присоединилась к команде Deepdee, на первом этапе идею отвергла. Позже она заметила: «Вы делаете не то: нужно не сам глаз фотографировать, а делать снимок глазного дна». И рассказала, как по состоянию глазного дна можно выявлять и оценивать не только заболевания, но даже начальные изменения в организме человека.

Ярослав и Алексей пришли с этой идеей на хакатон Social Weekend и выиграли. Проект поддержал Юрий Зиссер: вручил главный приз в 1,5 тысяч рублей на развитие проекта, а также помог отправить стартап на международную технологическую конференцию Slash. Разработчики говорят, что их история началась именно там.

— На Slash мы познакомились с Rockstart, а наши врачи — с Bayer Foundations, и нашли с ними общий язык. Сначала Юрий Анатольевич, а затем и специалисты фонда Bayer убедили врачей в том, что мы «делаем большое дело», — и наши медики наконец поверили, что из этого может что-то получиться.

Белорусы изучали и другие программы с healthcare-треком, но в итоге остановились на Rockstart. На переезд всей команды не было денег, поэтому в Нидерланды отправилась core-team из двух разработчиков. Врачи к ним приезжали.

Конечная цель — решение на мобильных телефонах для домашнего пользования

К сентябрю программа Deepdee в Rockstart закончится. Стартап основательно вырос за полгода.

— Мы ехали в акселератор с идеей и прототипом — не было даже бизнес-модели. На отборе открыто признавались: у нас есть техническая экспертиза, но необходимо бизнес-решение — что можно «выжать» из продукта. В Rockstart сказали: «Fair deal!»

Стартаперы признаются, было непросто: команды в акселераторе находились на разных стадиях, и Deepdee — на самой ранней. У других уже был трекшен, они получали фидбэк от рынка, а кое-кто даже приличный доход. Белорусам пришлось ускоряться.

У команды появился первый клинический партнёр — крупнейшая в стране офтальмологическая больница The Rotterdam Eye Hospital с лучшей в Нидерландах научной базой. Её врачи принимают около 150 тысяч пациентов в год.

— До того, как мы подписали с ними с документы, приходилось объяснять, кто мы, откуда и чем вообще занимаемся. Теперь к нам другое отношение.

В акселераторе Deepdee определились с клиентом. До этого перебирали разные варианты. Менторы на Social Weekend предлагали даже поставить в магазинах фото-будки со специальным ПО: зашёл внутрь, сфотографировал глаз — и получаешь результат.

В Нидерландах появилось в разы больше идей и возможностей.

Разработчики намерены сфокусироваться на optician chains — глобальной сети магазинов по продаже оптики и контактных линз (их специалисты имеют возможность делать снимки глазного дна пациентам — прим. ред.), а также семейных врачах, к которым они придут через агрегаторов, занимающихся телемедициной. Конечная цель команды — чтобы решение было доступно на мобильных телефонах, и люди могли пользоваться им дома.

Сейчас участники стартапа размышляют над тем, как с помощью фронтальной камеры смартфона получать нужные им изображения (сейчас такие снимки делают в специализированных учреждениях при помощи фундус-камер; также существуют специальные линзы для телефона — прим. ред.). Они начали общаться на этот счёт с одним из производителей мобильных телефонов.

— Всё движется к тому, что медицинская диагностика начнёт приходить в дома. И на данный момент мобильный телефон в сочетании с носимыми девайсами — это лучший интерфейс для того, чтобы доставить медицинскую помощь человеку на дом.

Но прежде предстоит долгий путь: в healthcare «нельзя просто задевелопить аппу, запаблишить её и получать доход». Сначала придётся пройти сертификацию. Коллеги, уже проходившие через эту процедуру с AI-продуктами, отмечают, что единой схемы здесь ещё не выработано — а значит, придётся пробивать головой стену.

Сроки и трудозатраты: «далеко не 40 часов в неделю», без выходных

Команда озвучивает планы с осторожностью: первый инвестиционный раунд будет направлен на R& D и выход на рынок, следующий — на масштабирование.

Говоря о трудозатратах на разработку Ярослав Лихачевский отмечает, что их непросто оценить. С осени он затормозил предыдущий проект и всё время посвятил Deepdee. Алексей и врачи работали по вечерам и в выходные. В акселераторе разработчики работают фултайм и «далеко не 40 часов в неделю». Уйти из офиса за полночь для них обычное дело, слово «выходные» вообще ушло из лексикона.

Алексей Кузьменков добавляет, что это нормальный сценарий для стартапов:

— К тому же, когда ты работаешь с одним из лучших в Европе специалистов по глаукоме, и он готов отвечать на твоё письмо в 10-11 часов вечера, ты не можешь позволить себе расслабиться.

Инвестиции: «с финансами в этой сфере в Европе никаких проблем нет»

Подсчитывая финансовые затраты, собеседники dev.by поясняют, что на время акселерационной программы Rockstart инвестировал наличными в развитие Deepdee так называемые pizza money — 20 тысяч евро.

Проект привлёк к себе внимание инвесторов из Бенилюкса, а также из других стран Европы: Ярослав и Алексей достойно провели демо-день, их проект был признан одним из многообещающих, по итогам акселерации в Rockstart. Также стартап принял участие в конкурсе Emerging Europe Awards и победил в номинации Social Impact Startup of the Year.

Rockstart оценивает стартап в 1,2 млн евро. Но его участники считают эту оценку формальной, отмечая что «реальная будет после инвестиционного раунда», намеченного на осень.

Ярослав Лихачевский подчёркивает, что «с финансами в этой сфере в Европе никаких проблем нет». Существует немало грантов, а банки дают дешёвые займы для инновационных компаний. Это даже дешевле, чем инвестиции. Однако команду интересуют именно smart money — умные деньги в комплекте со связями и медицинской экспертизой.

Датасет, который «даже снится»: четверть миллиона снимков

Участники стартапа отмечают, что разработка в основном легла на плечи CTO проекта Алексея Кузьменкова. Поскольку изначально он не Data Scientist, приходилось «копаться», вникать в суть.

Очень много времени отнимала работа с картинками:

— Мы перебирали варианты: и чёрно-белые, и цветные, пытались «вытягивать» их. Как-то я целых две недели занимался только ими, пересмотрел по кругу, наверное тысяч сто фотографий — громадный датасет. Мне эти глаза даже снились, — вспоминает Алексей.

Когда разработчик видел красный сигнал светофора, ему казалось, там проступают сосуды.

Участники команды рассказывают, что первые снимки брали в открытом доступе: на kaggle.com они нашли датасет с данными от Калифорнийского технологического института. Правда, снимки оказались, во-первых, не самого лучшего качества, во-вторых, размечены неверно. Немало снимков якобы «здоровых глаз» было тогда забраковано.

Углубляясь в технические подробности, разработчики поясняют, что сегодня работают с Tensorflow и сетью Inception, которую они перебрали. В базе Deepdee уже около 250 000 снимков, но не весь этот датасет ещё размечен.

— Собственно поэтому мы и хотим набрать в офис врачей — нам всегда нужна будет помощь специалистов в разметке снимков.

В будущий офис разработки также планируется нанять инженеров.

Система распознаёт 10 болезней, одну из них с точностью более 90%

Приложение, над которым трудится команда Deepdee, сегодня распознаёт до 10 болезней. При этом точность, с которой система диагностирует диабетическую ретинопатию (осложнение сахарного диабета) превышает 90%. Разработчики сфокусировались на этом заболевании, потому что оно встречается на снимках чаще, чем другие болезни, распознаваемые по состоянию сетчатки глаза. Для выхода на рынок этого пока достаточно: в мире полмиллиарда людей, страдающих диабетом. Все они нуждаются в регулярном скрининге, так как прогрессирование ретинопатии приводит к ухудшению или потере зрения.

При этом разработчики отмечают, что процесс обучения модели продолжается и вряд ли закончится в ближайшее время.

— Вместе со специалистами The Rotterdam Eye Hospital мы собираемся делать проект по глаукоме. Эксперты клиники будут собирать данные и размечать их, а мы затем интегрируем проект в общее решение.

Также в планах у разработчиков — собрать датасет по возрастной макулодистрофии.

В roadmap стартапа включены неврологические и сердечно-сосудистые заболевания, которые можно диагностировать по состоянию глазного дна.

Фото: Андрей Давыдчик

Хотите сообщить важную новость?

Пишите в наш Телеграм

Горячие события

MobileOptimized 2020 Online Edition Conference
6 ноября — 7 ноября

MobileOptimized 2020 Online Edition Conference

Читайте также

Y Combinator запускает онлайн-курс для будущих фаундеров
Y Combinator запускает онлайн-курс для будущих фаундеров
Y Combinator запускает онлайн-курс для будущих фаундеров
В Японии придумали антиковидную маску-переводчик
В Японии придумали антиковидную маску-переводчик
В Японии придумали антиковидную маску-переводчик
Тату с биосенсорами помогут распознавать болезни на ранних стадиях
Тату с биосенсорами помогут распознавать болезни на ранних стадиях
Тату с биосенсорами помогут распознавать болезни на ранних стадиях
Динамические, или нанотехнологические татуировки способны менять цвет под воздействием различных факторов и могут использоваться не только для боди-арта, но и в медицинских целях. К примеру, они реагируют на изменение биохимии крови или повышенный радиационный фон. Ученые надеются, что такие татуировки помогут выявлять раковые образования на ранних стадиях.  Предлагаем перевод статьи доцента Колорадского университета в Боулдере Карсона Дж. Брунса (Carson J. Bruns). 
1 комментарий
Почему беспилотные стартапы всё никак не взлетят
Почему беспилотные стартапы всё никак не взлетят
Почему беспилотные стартапы всё никак не взлетят
Успехи разработчиков самоуправляемых автомобилей пока не оправдывают многие ожидания и обещания, данные несколько лет назад. Waymo очень старалась, но так и не успела запустить беспилотное такси к концу 2018 года, Cruise (дочка General Motors) передумала запускать аналогичный коммерческий сервис в 2019-м. Tesla снова и снова срывает амбициозные сроки разработки полноценного автопилота, которого расписывает Илон Маск. Издание Ars Technica рассказало о разных подходах к реализации технологий беспилотного вождения.
30 комментариев

Обсуждение

0

Оценить по селфи состояние глазного дна? Зачем такие заголовки? Что бы сделать снимок нужно оборудование, а в сфере медоборудование такая диагностика так себе ноу-хау.

1

Крутой проект, который решеает конкретную проблему, а не "меняет мир". Успехов ребятам, и побыстрее занять нишу. Технология не выглядит супер сложной, но если смогут самыми первыми нормально реализовать и получить клиентов, то отожмут себе кусочек рынка.

1

Вообще, в планах конечно и мир поменять :) Но сначала будет полезно хотя бы нишу занять. А оттуда уже и дальше расти можно.

0

ярослав, я маленько запутался в изложении журналистами вашей работы. с одной стороны, фотографии глазного дна, с другой, селфи. если первое, то глазное дно и так изучает офтальмолог - вы хотите помочь ему определить болезнь? если второе, то, вероятно, ваш апп сможет определить только очень явные глазные болезни?

6

Во-первых, спасибо за интерес к медицинскому проекту :)
В первую очередь, слово селфи - это инициатива редактора девбай. К сожалению, мне не называют его имя :)
Касательно врача. Если пациент пришел в кабинет к узкому специалисту, значит его время уже потрачено и страховая уже раскошелилась. Если можно здорового (или пациента, которому не требуется врачебная помощь) продиагностировать дистанционно - это вин.
С другой стороны, многие пациенты приходят к врачу только когда болезнь уже запущена. Это значит, что лечение дольше, сильно дороже и болезненнее для пациента. Времени врача потрачено еще больше, страховая раскошелилась еще сильнее. Если таких пациентов, за счет более простого, дешёвого и доступного скрининга можно выявлять на ранних стадиях - это вин-вин.
При этом, в развитых странах с рыночной экономикой, естественно умеют считать свои деньги и оптимизировать.
Простой пример. Диабетки. Им нужно дважды в год проверять сетчатку на появление кровоизлияний (ретинопатия), которые, если не заметить и не начать лечить во время, ведут прямиком к слепоте.
Процедура следующая: пациенты делают снимки (в магазинах оптики, у семейных врачей), после снимки отправляют в reading center, где сидят ридеры. Офтальмологи, которые занимаются только тем, что читают снимки. Это в разы дешевле, чем ходить на осмотр к офтальмологу в ближайшую больницу. Но только ридинг центр в Роттердаме, с которым сейчас пытаемся завязать отношения, за прошлый год "скушал" €20млн. И конечно они мечтают сократить эти расходы хотя бы до 10ти, а лучше до 2х, за счет автоматизации процесса распознавания снимков.
"Селфи" - это далекие планы и большая мечта. Если заставить фронтальную камеру сканить сетчатку с достаточной детализацией, то это даст потрясающие возможности для постоянного контроля за здоровьем. Но пока, это не более чем концепт.

1

И еще. Очень явные для человека и очень явные для CNN - это разные вещи.
Например, выявление глаукомы только по снимку - суперсложная задача для врача. Единицы могут делать это с sensitivity и specificity выше 90%. Но те врачи, которые могут, верят, что и модель можно обучить с такой же точностью.
Другие, впрочем, не верят. Но мы попробуем :)

0

Главное не пытаться ничего диагностировать и лечить каким-то бы то ни было приложением по фото - а то будешь сам себе злобный буратино)))

2

вот ваши конкуренты - так они на спец оборудование делает кучку снимков глаз (и это скорее всего далеко не фото)
https://dev.by/lenta/main/deepmind-nauchili-raspoznavat-zabolevaniya-glaz-na-urovne-deystvuyuschih-medikov
а вообще подход "болезнь по фото" смахивает на лечение кашпировского и антинаучен по своей природе))

1

Мы работаем с теми же самыми врачами и данными, что и наши "конкуренты". Делаем правда что, на данный момент, немного другое и для другого сегмента медицинского рынка. Что касается фото, Вы можете назвать это биомедицинскими изображениями, но, как говорится, грудь от этого больше не станет :)

0

Я так понимаю, что реальный врач точно также диагностирует болезнь по фото глазного дна. И ,например, если при диагностике false negative(когда у пациента есть болезнь, а модель его не определила) стремиться к нулю, а false positive(когда болезни нет, а модель определяет, что есть) будет приемлимым, чтобы тратить время врача на подтверждение диагноза, то очень даже рабочий вариант, который экономит время квалифицированного персонала -> денюжки -> возможно сделает доступней(дешевле) диагностику для людей. И если то, что в презе правда, и количество больных на врача растет, то без таких технологий люди так и так без диагностики остаются.

0

Совершенно верно. Все так.
Сейчас оптимизируют за счет телемедицины. То есть, снимки делаются вне больничных стен. В магазинах оптики, семейными врачами, в африканских странах - выездными бригадами медиков (но не узкими, дорогими, специалистами, а условно терапевтами, медсестрами). Потом уже эти снимки отправляются на ручную обработку живым офтальмологам. Идея автоматизации, на самом деле, лежит на поверхности.

5

>> Как-то я целых две недели занимался только ими, пересмотрел по кругу, наверное тысяч сто фотографий — громадный датасет. Мне эти глаза даже снились, — вспоминает Алексей. Когда разработчик видел красный сигнал светофора, ему казалось, там проступают сосуды.
Дев.бай, отдельное вам спасибо, что по итогам интервью с работниками Flo ничего подобного не писали.

2

1. Про 90% -- интересно было бы узнать при этом про баланс классов, про AUC под ROC и прочее. Мой любимый пример для студентов -- продать программу автоматизации диагностики органов грудной клетки в телемедицинскую систему скрининга в РБ, которая ВСЕГДА говорит Здоров и стоит поэтому 0 долларов. Ведь ее точность будет не менее 95-98% И вы знаете, почему.

0

Василий Ковалев, добрый день.
Вы задаете правильные вопросы и да, мы знаем почему.
На данный момент мы не можем освещать цифры кроме тех, которые уже озвучены. Официальные результаты будут после проведения клинических испытаний.

1

2. Но главный вопрос здесь, по моему мнению. -- это вопрос лицензирования (особенно в Европе), которое может длиться не один год и стоить очень дорого.

Я уже не говорю о том, кто и какими деньгами будет отвечать в суде родственникам в случае ошибок диагностики, ошибок лечения и др. В той же Европе. Да и у нас.

Вопрос автоматизации диагностики возник не вчера. И юридических проблем там по сей день вагон. Особенно за пределами РБ.

0

Мы над этим работаем. Это первое о чем мы думали начиная проект, а иначе система носит сугубо рекомендательный характер.

2

3. Я сейчас на некотором мероприятии. Только что был доклад про автоматизации распознавания настоящей сетчатки глаза и сетчатки глаза умерших людей в проблеме предотвращения атак в серьезных системах.

Ребята натренировали сети, CNN, TensorFkow и прочие вещи. Но потом выяснилось, что признаком для сети была совсем не сетчатка, а наличие проволочных скобок, которыми открывали закрытые глаза умерших при съёмке Типа как в случае котов и собак псевдопризнак это травка внизу, на которой часто снимают собачек, но не котиков

0

Можете поделиться какое мероприятие и какой доклад ? Проблема понятна, интересно почитать.

0

Это была летняя школа для магистрантов и аспирантов в одной промышленно развитой стране, где мы совместно с коллегами из Европы учили их распознаванию изображений и спектров, т.е. некоторое специализированное платное мероприятие. Ничего особенного.

Если Вам это интересно, то можете просто на этапе предишена построить карты "важности" участков изображений (типа saliency maps) на основе выходных вероятностей натренированной сети.

2

И в завершение несколько ссылок на аналоги . Они наверно не все релевантные, но их много. Загуглил по словам:. eye retina deep learning

https://www.nature.com/articles/d41586-018-02431-1

https://www.ncbi.nlm.nih.gov/pubmed/29234807

https://blogs.nvidia.com/blog/2017/12/18/how-deep-learning-detects-eye-disease/

Можно начать с последней с блогом Nvidia какраз на эту тему.

Артем Концевой
Артем Концевой Publisher в dev.by

Комментарий скрыт за нарушение правил комментирования.

Del

1

https://drive.google.com/file/d/1e4AN1he47CrZEgc8daWKPs6ilatX7Ff3/view - я так понимаю такая табличка это чтобы у приложения пользователей добавилось

Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже