💊Глубокое обучение в медицине: совершенствование анализа медицинских изображений с помощью Supervisely

Привет, мир!

В декабре 1895 года Вильгельм Рентген обнаружил кости руки своей жены на первом рентгеновском снимке. Я видела свою смерть, - сказала она. Этот прорыв оказал невероятное влияние на лечение в 20 веке. И последние достижения в области глубокого обучения открывают новые возможности в этой области.

Глубокое обучение нашло большой успех в компьютерном зрении и других областях. И сейчас он активно трансформирует мир медицины. ИИ помогает врачам быстрее ставить более точные диагнозы.

Сегодня мы хотели бы поделиться своими мыслями и исследованиями в очень многообещающем направлении: Человек в петле ИИ для анализа медицинских изображений в единой среде - Supervisely.

Наша платформа позволяет управлять данными и аннотировать их, обучать сетевые сети, применять их для автоматического предварительного аннотирования, а затем развертывать их как API.

Проблемы с медицинскими изображениями

Исследователи IBM подсчитали, что медицинские изображения, как самый крупный и быстрорастущий источник данных в отрасли здравоохранения, составляют не менее 90 процентов всех медицинских данных.

Проблема 1. Конфиденциальность данных

Медицинские данные по-прежнему являются личными, и их нелегко получить. И из-за проблем с конфиденциальностью данных большинство центров общественного здравоохранения неохотно делятся этими данными.

Проблема 2: размер аннотированных данных

Процесс аннотации сложно передать на аутсорсинг, и только опытные врачи могут анализировать медицинские изображения. Это ограничение приводит к высоким затратам и отсутствию аннотированных данных.

Проблема 3. Качество инструментов для аннотации

Инструменты аннотации, которые можно использовать для извлечения информации из медицинских изображений, по-прежнему ограничены, в большинстве случаев общедоступны и требуют выполнения большей части анализа вручную.

Проблема 4 (следствие 1 и 2): проблема сегментации

Наборы данных для задачи сегментации обычно чрезвычайно малы по сравнению с большими общедоступными наборами данных общих изображений (COCO, PascalVoc и т. Д.). Из-за размера наборов данных сложно обучить очень глубокие архитектуры нейронных сетей. Интересующие объекты могут различаться по размеру, форме и положению. В сочетании с «мягкими» границами это создает дополнительные проблемы.

Наши цели

Мы собираемся преодолеть Вызов 3 и Вызов 4: предоставить отраслевому комплексному решению, которое сделает людей-экспертов более эффективными и автоматизирует рутинные задачи с помощью мощных технологий искусственного интеллекта.

Мы понимаем, что впереди еще много работы: увеличить количество удобных инструментов аннотации и добавить поддержку формата DICOM, трехмерных изображений, последовательностей изображений и так далее. Но это только технические вопросы, первые шаги уже сделаны и получены многообещающие результаты.

Мы стремимся ускорить развитие медицины и рады быть частью глобального исследовательского сообщества, которое способствует революции глубокого обучения в здравоохранении.

Не может быть более важного приложения этой новой возможности [глубокого обучения], чем улучшение ухода за пациентами.

- Дженсен Хуанг, генеральный директор и соучредитель NVIDIA

Пример из практики: сегментация кровеносных сосудов на изображениях сетчатки

Существует множество медицинских приложений Deep Learning для визуализации: обнаружение опухолей, отслеживание развития опухолей, количественная оценка и визуализация кровотока, стоматологическая радиология и многое другое.

Поскольку мы не врачи, мы искали данные, которые нам более или менее понятны. Вот почему мы решили провести исследование сегментации кровеносных сосудов. Давайте взглянем на один из самых популярных общедоступных наборов данных в этой области: STARE (Структурный анализ сетчатки глаза).

Набор данных содержит 28 аннотированных изображений с разрешением 999 × 960. Мы рассматриваем случай, когда у нас есть только 6 аннотированных изображений в обучающем наборе данных. Остальные изображения будут использованы для окончательной оценки качества. Все обучающие изображения представлены ниже:

Этот сценарий довольно близок к реальному миру: врач аннотирует несколько изображений, затем нейронная сеть обучается на этих данных и применяется к другим изображениям для предварительной сегментации. Затем врач просто корректирует прогнозы NN.

Такой подход получил название Human in the loop AI. Он нацелен на то, чтобы значительно повысить эффективность работы человека-эксперта.

PS. Благодаря Supervisely все исследование заняло 2 часа без спешки ☕.

Шаг 1: увеличение обучающих данных

У нас было всего 6 аннотированных изображений. Чтобы обучить NN, мы должны автоматически увеличивать размер набора данных. В Supervisely есть специальный модуль для выполнения дополнений: DTL (Data Transformation Language). Он позволяет настроить весь процесс дополнения в простом формате на основе json и выполнить его в несколько кликов.

В этом случае мы сделали горизонтальные / вертикальные перевороты и относительно большие случайные культуры. Всего из 6 аннотированных изображений мы получили 264 обучающих примера. Вот визуализация вычислительного графа, которую мы применили к нашим данным:

Шаг 2: обучите нейронную сеть

В Supervisely есть несколько современных нейронных сетей для семантической сегментации. Одна из них - наша нестандартная UNet-подобная архитектура. Он был выбран потому, что: у нас небольшой обучающий набор данных, он точен и быстро обучается. Также мы используем комбинацию двоичной кросс-энтропии и потерь в кости из-за проблемы классового дисбаланса. Пиксели сосудов покрывают лишь несколько процентов площади изображения в отличие от пикселей фона.

Обучили NN 50 эпох. Интересно визуализировать прогнозы нейронной сети во время обучения. Мы берем невидимое изображение и применяем NN после каждой эпохи. Здесь вы можете увидеть, как наша сеть со временем становится умнее.

Контролирует обучение с использованием нескольких графических процессоров. Каждая эпоха занимает около 20 секунд на четырех GPU. Общее время тренировки - около 17 минут.

Шаг 3: автоматическая предварительная сегментация

Мы применили NN к новым изображениям. Давайте сравним прогнозы с истиной.

Как вы можете видеть из этого сравнения, все относительно смелые сосуды сегментированы. Нет шума. Это означает, что человеку достаточно нарисовать несколько линий волос с помощью инструмента «ломаная линия».

Кроме того, насколько мы понимаем, реальные данные имеют гораздо большее разрешение, чем общедоступные данные, которые мы используем в этом эксперименте. Мы считаем, что этот факт имеет решающее значение для качественной сегментации волос. Разрешения общедоступных изображений недостаточно. Взгляните на этот пример: вы видите сосуды, на которые врачи помечают?

Шаг 4: ручная коррекция

Как видно из изображений выше, качество автоматической предварительной аннотации довольно хорошее. Гораздо проще и быстрее исправить предсказания NN, чем добавлять аннотации с нуля вручную.

Мы не поленились и измерили время: сколько времени нужно на ручное аннотирование с нуля или корректировку прогнозов NN. Аннотации вручную с нуля: 36 минут / изображение. Корректировка прогнозов NN: 4 минуты / изображение.

Вывод очевиден.

Последние мысли

Глубокое обучение имеет огромный потенциал в анализе медицинских изображений. ИИ меняет методы диагностики заболеваний врачами.

Главное важное различие между врачом и алгоритмом глубокого обучения заключается в том, что врач должен спать. Нейронная сеть может обрабатывать миллионы изображений и может постоянно улучшаться.

Подход «человек в цикле» и автоматическая сегментация с помощью Supervisely позволят нам быстрее создавать большие наборы данных. Все шаги выполняются без кодирования. Это означает, что пользователь без опыта работы с машинным обучением имеет доступ к современному искусственному интеллекту. Таким образом, сообщество ML будет создавать больше услуг, чтобы помочь врачам предоставлять более качественное и быстрое лечение.

Давайте вместе строим будущее.

Если вам эта статья показалась интересной, давайте поможем и другим. Больше людей увидят это, если вы дадите ему немного 👏.