Application of Explainable Artificial Intelligence in the Development of a Neural Network Model for Differential Diagnosis of Choroidal Nevus and Melanoma Using OCT Images

Purpose. To evaluate the potential of Explainable Artificial Intelligence (XAI) for interpreting the decisions of a neural network model developed for the early differential diagnosis of choroidal melanoma and choroidal nevus based on optical coherence tomography (OCT) images, and to analyze the distribution patterns of Grad-CAM activation maps across different diagnostic categories. Material and methods. A previously developed deep learning model based on the YOLO11n-cls architecture, trained for three-class classification of OCT images (choroidal melanoma, choroidal nevus, and healthy fundus), was used in this study. Model interpretability was assessed using the Grad-CAM method. The analysis was performed on a test dataset comprising 450 OCT images (150 images from each diagnostic class). For each image, activation maps were generated from the last convolutional layer of the network and independently evaluated by two ophthalmologists. The localization of activation regions was analyzed with respect to major anatomical structures (choroid, retinal pigment epithelium–Bruch’s membrane complex, and neurosensory retina), tumor boundaries, and characteristic OCT features, including choroidal hyperreflectivity, optical shadowing, retinal pigment epithelium disorganization, diffuse retinal edema, subretinal fluid, and cystoid edema. Results. Grad-CAM analysis demonstrated distinct attention patterns across the studied diagnostic classes. In choroidal nevi, activation regions were predominantly localized within the choroid (72.0%) and only infrequently extended into the retinal layers (26.7%). In contrast, choroidal melanomas showed a high frequency of activation within the neurosensory retina (82.7%), corresponding to secondary retinal changes such as diffuse retinal edema (32.0%), subretinal fluid (28.0%), and cystoid edema (11.3%). In 80.7% of melanoma cases, the areas of maximum activation overlapped the tumor lesion, whereas this proportion was 56.0% for choroidal nevi. In OCT images of healthy fundi, activation was almost invariably localized linearly within the neurosensory retina (99.0%) and the choroid (100.0%). These findings suggest that the model’s predictions are influenced not only by the location of the lesion itself but also by secondary retinal alterations associated with choroidal melanoma. Conclusions. The application of Grad-CAM enabled visualization of the OCT image regions that contributed most significantly to the neural network’s predictions and demonstrated clinically meaningful differences in attention patterns between choroidal melanoma and choroidal nevus. The findings support the potential of explainable artificial intelligence to improve the transparency and interpretability of deep learning algorithms in ocular oncology. At the same time, activation maps should not be regarded as a direct representation of the internal decision-making process of the model, highlighting the need for further development of quantitative validation methods and standardized clinical evaluation of XAI approaches.

Цель исследования. Оценить возможности применения методов объяснимого искусственного интеллекта  XAI (Explainable Artificial Intelligence) для интерпретации решений нейросетевой модели, предназначенной для ранней дифференциальной диагностики меланомы и невусов хориоидеи по данным оптической когерентной томографии (ОКТ), а также проанализировать особенности распределения карт активации Grad-CAM  в различных диагностических классах. Материал и методы. В исследовании использовали ранее разработанную нейросетевую модель на основе  архитектуры YOLO11n-cls, обученную для трехклассовой классификации ОКТ-изображений («меланома хориоидеи», «невус хориоидеи», «здоровое глазное дно»). Для оценки интерпретируемости модели применяли метод Grad-CAM. Анализ проводили на тестовой выборке, включавшей 450 ОКТ-изображений (по 150 изображений каждого класса). Для каждого изображения формировали карты активации последнего  сверточного слоя, после чего их анализировали 2 врача-офтальмолога. Оценивали локализацию зон максимальной активации относительно основных анатомических структур (хориоидея, комплекс ретинального  пигментного эпителия и мембраны Бруха, нейросенсорная сетчатка), границ опухолевого очага, а также известных ОКТ-признаков, включая гиперрефлективность внутренней хориоидеи, оптического затенения,  дезорганизацию пигмента ретинального пигментного эпителия, интрасубретинальный экссудат (диффузный отек сетчатки, отслойка нейроэпителия и кистовидный ретинальный отек). Результаты. Анализ карт активации Grad-CAM выявил различия в распределении внимания модели между  исследуемыми диагностическими классами. При невусах хориоидеи зоны активации преимущественно  локализовались в пределах хориоидеи (72,0%) и значительно реже распространялись на слои сетчатки  (26,7%). Для меланом хориоидеи, напротив, была характерна высокая частота активации в нейросенсорной  сетчатке (82,7%), соответствующая интра- и субретинальному экссудату, включая диффузный отек (32,0%), отслойку нейроэпителия (28,0%) и кистовидный ретинальный отек (11,3%). В 80,7% случаев при меланомах зоны максимальной активации перекрывали область опухолевого очага, тогда как при невусах этот показатель составил 56,0%. На ОКТ-изображениях здорового глазного дна активация практически всегда  локализовалась линейно на уровне нейросенсорной сетчатки (99,0%) и хориоидеи (100,0%). Полученные результаты свидетельствуют о том, что модель формирует предположительный диагноз с учетом не только  локализации опухолевого образования, но и сопутствующих структурных изменений сетчатки, характерных для меланомы хориоидеи. Заключение. Использование метода Grad-CAM позволило визуализировать области ОКТ-изображений,  оказывающие наибольшее влияние на предположительные диагнозы нейросетевой модели, и продемонстрировало клинически обоснованные различия в паттернах распределения внимания при меланомах и  невусах хориоидеи. Полученные данные подтверждают перспективность применения методов объяснимого  искусственного интеллекта для повышения прозрачности алгоритмов глубокого обучения в офтальмоонкологии. Вместе с тем результаты визуализации не следует рассматривать как прямое отражение внутренних  механизмов работы модели, что определяет необходимость дальнейшей разработки подходов к количественной валидации и клинической оценке методов XAI.