Сравнительное исследование архитектур MIL на основе внимания при обнаружении рака
17 июля 2025 г.Таблица ссылок
Аннотация и I. Введение
Материалы и методы
2.1. Несколько экземпляров обучения
2.2. Модель архитектуры
Результаты
3.1. Методы обучения
3.2. Наборы данных
3.3. WSI предварительно обработайте трубопровод
3.4. Результаты классификации и обнаружения ROI
Дискуссия
4.1. Задача обнаружения опухоли
4.2. Задача обнаружения мутаций генов
Выводы
Благодарности
Авторская декларация и ссылки
2.2. Модель архитектуры
Из -за необходимости интерпретации результатов при выборе и создании моделей мы сосредоточились на моделях MIL, которые используют механизм объединения внимания. Поскольку мы также отдали приоритет эффективности, мы выбрали модели с относительно простой архитектурой. В частности, мы сосредоточились на первоначальном внимании MIL (Amil), предложенном Ilse et al. [7] и аддитивная MIL (Admil), предложенная Javed et al. [8].
Ilse et al. предложил средневзвешенное из экземпляров в качестве оператора объединения MIL, где веса обучались двухслойной нейронной сети. Этот оператор соответствует версии механизма внимания, где все экземпляры независимы.
При таком подходе у нас есть модель из 3 частей 𝑔, определяемая как
𝑎 - модуль внимания, определяемый как:
и 𝑝 - это функция предиктора или классификатор сумки:
И 𝜓𝑎, и 𝜓𝑝 являются многослойными персептронами.
Механизм внимания похож на внимание Бадханау [1], с основным отличием, что экземпляры считаются последовательно независимыми:
как с 𝑤, так и с 𝑉 в качестве обучаемых параметров.
Тем не менее, этот подход по -прежнему представляет некоторые проблемы, касающиеся того, что интерпретируется на изображении, потому что оценки внимания могут быть недостаточно выразительными для объяснения результатов. Javed et al. [8] отметил, что нелинейная связь между значениями внимания и окончательным прогнозом делает визуальную интерпретация неясной и неполной.
Аргумент заключается в том, что полученные оценки внимания не обязательно являются репрезентативными для опухолей, но все еще могут понадобиться для прогнозирования нижнего течения, что означает, что они могут быть необходимыми, но не достаточными для окончательной классификации. Оценки могут указывать на то, что патч предоставляет сильные положительные или отрицательные доказательства окончательного прогноза, но он не делает различий между ними. Более того, оценки внимания не учитывают вклад нескольких патчей. Два патча могут иметь умеренные оценки, но вместе они могут предоставить убедительные доказательства окончательного прогноза.
Чтобы решить эти проблемы, Ilse et al. предложил новый аддитивный метод для лучшей визуальной интерпретации и классификации патчей. Чтобы лучше указать вклады из каждого патча, окончательная функция прогнозирования модели, описанная в уравнении 5, претерпевает следующее изменение:
где 𝜓𝑝 дает счет для каждого патча. С этим изменением 𝜓𝑝 (𝑎𝑖 (𝑥)) становится вкладом для патча 𝑖 в сумке, превращая его в более точный прокси классификатора экземпляра. Затем добавляются оценки патчей для получения окончательного балла на уровне сумки, который, в свою очередь, преобразуется в окончательное распределение вероятностей с использованием 𝑠𝑜𝑓 𝑡𝑚𝑎𝑥, для получения окончательной классификации.
Для интерпретации и скольжения, полученные оценки патчей, могут быть переданы через функцию 𝑠𝑖𝑔𝑚𝑜𝑖𝑑 для получения ограниченной оценки вклада в патче от 0 до 1, где значения 0 - 0,5 представляют ингибирующие оценки, а значения 0,5 - 1 представляют собой оценки возбуждающих.
Первоначально Amil был обучен каждым патчем WSI в качестве сумки (где каждый экземпляр является частью этого пласта) для обнаружения опухоли, в то время как Admil обучался для классификации подтипа рака и обнаружения метастазирования. Применение этих моделей для таких задач, как обнаружение опухоли и обнаружение мутаций генов, может дать представление о способности моделей обобщать различные медицинские задачи. Кроме того, различия в их использовании MIL -структуре делают стойкостью изучать и понять, как эти модели сосредоточены на различных областях слайдов.
Оригинальные архитектуры моделей, используемые в этой работе, представлены на рисунке 1. Оригинальная модель AMIL состоит из модуля экстрактора признаков, за которым следует модуль внимания, который дает оценки внимания для каждого экземпляра, и модуль последнего классификатора мешков, который принимает сумму всех экземпляров, умноженных на их соответствующие оценки и выводит конечную классификацию сумки. Подобно архитектуре Amil, модель Admil состоит из модуля экстрактора признаков и модуля внимания. Однако, как упоминалось ранее, вместо агрегирования патча встроения через взвешенную сумму, а затем передавая результат через последний классификатор мешков, Admil проходит каждое патч, умноженное на его внимание, через классификатор патча, слой оценки патча. Этот классификатор дает счет патча для каждого класса. Эти оценки не ограничены какими -либо значениями и могут быть либо отрицательными логитами (ингибирующие оценки), либо или
Положительные логиты (возбуждающие оценки). В конце концов, баллы складываются вместе для получения окончательной оценки сумки, который проходит через Softmax, что возвращает окончательную вероятность для каждого класса.
Сравнивая показатели внимания, полученные двумя моделями, мы заметили, что использование функции активации Pecyreelu на слое внимания архитектуры адмила приводило к более узким показателям внимания, что может быть не идеальным, поскольку модель сосредоточена на ограниченной части ввода. Мы решили поэкспериментировать на дополнительной модели, которая использует архитектуру Admil, но с слоем внимания Amil.
Авторы:
(1) Мармим Афонсо, институт Superior Técnico, Universidade de Lisboa, Av. Ровиско Паис, Лиссабон, 1049-001, Португалия;
(2) Praphulla M.S. Bhawsar, Отдел эпидемиологии и генетики рака, Национальный институт рака, Национальный институт здравоохранения, Bethesda, 20850, штат Мэриленд, США;
(3) Monjoy Saha, Отделение эпидемиологии и генетики рака, Национальный институт рака, Национальный институт здравоохранения, Bethesda, 20850, штат Мэриленд, США;
(4) Джонас С. Алмейда, Отделение эпидемиологии и генетики рака, Национальный институт рака, Национальный институт здравоохранения, Бетесда, 20850, штат Мэриленд, США;
(5) Арлиндо Л. Оливейра, Институт Верхний Течнико, Университет де Лисбоа, ав. Rovisco Pais, Лиссабон, 1049-001, Португалия и INESC-ID, R. Alves Redol 9, Lisbon, 1000-029, Португалия.
Эта статья есть
Оригинал