Proje İçeriği

MIDAS (Meme Kanseri için Erken TeşhIs, Değerlendirme ve TAkip Sistemi / Mammography based Image Diagnosis & Analysis System for Breast Cancer), en genel çerçevede, meme dokusunda görülebilecek iyi ve kötü huylu anomalilerin görsel lokalizasyonunu yapan ve bunlara dönük “önem” haritaları çıkaran “eXplainable (açıklanabilir)” yapay öğrenme modeli olarak ortaya çıkmıştır. Bu açıklanabilir derin model, Hacettepe Üniversitesi Tıp Fakültesi Hastanesi’nde 2009-2020 yılları arası çekilen  ve ultrason ile beraber raporlanmış tüm mamogramların (200K üstü sayıda örnek) kullanılmasıyla eğitilmiştir. Bu hacimli verilere, hastane ile imzalanan veri güvenliği protokolü ve etik kurul onayıyla erişilmiştir. Veri tümüyle anonimleştirerek modelin eğitimleri yapılmıştır. Hastanenin Radyoloji ABD’dan tıbbi danışmanlık, ODTÜ Elektrik-Elektronik Müh. Bölümü'nden de teknik danışmanlık alınmıştır. Toplanan veri kümesinin önemli bir özelliği, malignite alt tipleri açısından hayli yüksek bir çeşitliliğe sahip olmasıdır. Bu durum, modelin nadir anomalilere karşı daha hassas haritalama yapabilmesini sağlamıştır. 

Model açıklanabilir olmasının yanı sıra, etiket yapısı açısından zayıf denetim (weak supervision) olarak nitelenen yönteme dayanmaktadır. Bu sayede MIDAS modeli, mamogram verisinin gerçek bireyler tarafından elle işaretlemesi (anotasyon) gerekliliğine dair “pahalı” bağımlılığı taşımamaktadır. Ayrıca zayıf denetim, örtüşen semptomlar veya görüntüleme artefaktları gibi nicel belirsizlikler içeren verilerden “geçerli” içgörüler / sonuçlar çıkarabilme özelliğine sahiptir. 

MIDAS modeli, hastanelerin radyoloji bilgi sistemi veya PACS altyapılarına entegre çalışmaya müsait bir servis omurgası ile radyologların kullanımına sunulmaktadır. Bu kullanım, hastanelerdeki yoğun değerlendirme / raporlama yükünü hafifletmek ve öncelikli vaka triyajlama aşamasını hekimler için çok hızlı hale getirmek yönünde belirlenmiştir. Model, kendi başına web tabanlı DICOM görüntüleyici ile de çalışmakta, bu görüntüleyici üzerinden ayrıca sunulan veri anotasyonu aracı ile etiketlenen yeni veri örneklemi ile “sürekli model öğrenmesi”ne olanak sağlayan altyapıyı da mümkün kılmaktadır. Bu haliyle, Radyoloji uzmanlığı eğitimi sırasında da önemli rol oynayacağı hesap edilmektedir.

Projenin Amacı

Projemiz ile yeni bir hizmet yaratılmıştır. Farklı basamak sağlık tesislerinin meme tarama ve kanserde ön tanılama süreçlerini iyileştirecek, yanlış negatif oranlarını azaltacak ve özellikle radyologlar için önden vaka triyajlama imkanı sağlayacak bir yapay model ortaya çıkarılmıştır. Bu model aynı zamanda, hekim muhakemesini zorlayan mikro düzeydeki anomalileri de hekime kıyasla ortalamada daha hızlı bulmak yönünde rekabetçi katkı sağlamaktadır.

Proje içindeki en büyük inovasyon nedir? (yeni bir teknoloji veya var olan teknolojinin farklı kullanımı gibi. IOT, M2M, AI vb.)

Projenin inovatif yönleri

1. Türkiye’de bugüne dek kürasyonu yapılmış en hacimli ve en çok çeşitlilik içeren mamogram veri kümesi üzerinde eğitilmiş bir modeli üretmesi, 
2. iyi ve kötü huylu bulguları önem derecesine göre haritalayan ve radyolog hekime “açıklanabilir” şeffaf bir yapay model kullanım imkanı sunması
3. veride bölgesel anotasyonu eğitim aşamasında zorunlu kılmamasıyla “zayıf denetim”e iyi bir örnek teşkil etmesi 

olarak ön plana çıkmaktadır.

Bu inovatif yaklaşımının en önemli izdüşümü ise, modelin dış validasyon kümelerinde elde ettiği başarının (Precision-Recall metriğine göre), literatüre son yıllardır sıklıkla katkı sağlayan Amerika’daki NYU Langone Breast Cancer Center çalışma grubu ile başa baş durumda olmasıdır. Mevcut metriğin ötesinde, çeşitli alt olgularda ise (dens meme dokusunda mikrokalsifikasyon bulma) %1.5-2 oranında daha üst bir kesinlik düzeyi sergilemektedir. 

Proje kurum içindeki hangi bölüme fayda sağlamıştır?(satış, pazarlama, finans, İK, IT, Üretim, Planlama, Satın alma, Lojistik Müşteri İlişkileri gibi)

Ortaya çıkan modelin kullanılması bağlamında doğrudan kurumun bir bölümüne hizmet katkısı sağlandığı söylenemez; zira proje sağlıkta yapay zeka ürünüdür. Yalnız, projenin hayata geçirilmesinde harcanan teknik emeğin tümü, kurumda yapay zeka nosyonun gelişmesinde, emniyet kritik ve hassas nitelikli verinin doğru şekilde ele alınmasında, yapay öğrenme teknik altyapısının derinleşmesinde ve fikri taşıyan yaklaşımların başka sektörlere pivot edilmesinde önemli rol oynamıştır.

Projenin hayata geçirilmesi konusunda üst yönetimin desteğini tam olarak alabildiniz mi?

Evet. Üst yönetim hem maddi olarak, hem vizyon çizerek hem de yayılım faaliyetine destek olarak son derece etkin katkı sağlamıştır. Projeyle ortaya çıkan modeli, farklı basamaklardaki hastanelere tanıtarak, bu tesislerde PoC (Proof of Concept) çalışmalarına bizzat ön ayak olmuştur.

Proje sonunda ortaya çıkan sonuçları analiz edebildiniz mi? Rakamsal verilerle ifade eder misiniz?(ROI, maliyetlerde yüzdesel azalma, üretim süresinde azalma, hata payının düşmesi vs.)

Proje süresinde eğitilen farklı modeller arasında ROC-AUC (Accuracy) ve PR-AUC (Precision-Recall) metriklerine göre en yüksek sonuç veren model seçilmiştir. Açık erişimli veya özel akademik izne tabi olarak  erişilebilen mamogram veri kümeleri üzerinde dış validasyon deneyleri yürütülmüştür. Bu veri kümeleri Vietnam, Çin, İsveç, ABD kaynaklıdır. Bu deneylerin sonucuna göre MIDAS’ın ortaya koyduğu ortalama PR-AUC %89 düzeyindedir. Bu düzey, literatürde nitelikli çalışmalara da konu olan radyolog hekim başarı düzeyinin çok üstündedir. (Ekli proje dosyasında ilgili metrikler ve referans başarı yayını paylaşılmıştır). Literatürde yayınlanmış rakip modellerin önde gelen bir tanesi ile başa baş [Shen, Y., Wu, N., Phang, J., Park, J., Liu, K., Tyagi, S., ... & Geras, K. J. (2021). An interpretable classifier for high-resolution breast cancer screening images utilizing weakly supervised localization. Medical image analysis, 68, 101908.], kalanlarla kıyaslandığında ise birkaç yüzdelik puan üsttedir. Büyük mamogram üreticilerinin (GE, Fuji, Hologic vb.) FDA onayıyla halihazırda kullanıma aldığı iç modellerin sınıflama başarısıyla ilgili herhangi bir yayına rastlanmamıştır.

Projenizde şirket içinden kaç kişi aktif olarak görev almıştır? Ekip birimleri hakkında kısaca bilgi verir misiniz?

Projemiz süresince, kuruluşumuzda çalışan 7 adet ML ve yazılım mühendisi, ODTÜ’den 1 teknik akademik danışman (Prof.) ve Hacettepe Ünv’den 3 tıbbi akademik danışman (2 Prof. ve 1 Doç.) aktif rol almıştır.

Projenizde (varsa)işbirliği kurduğunuz veya destek aldığınız bilişim şirketlerini belirtiniz.

Proje sırasında kullandığınız ve spesifik önemi olan markaları (varsa) belirtiniz. (Yazılım veya donanım markaları)

Modelleme, geliştirme ve eğitim süreçlerinde NVIDIA donanım ürünlerinden, PyTorch, OpenCV, TensorBoard, ONNX, Jupyter Notebook kütüphane ve geliştirme çerçevelerinden yararlanılmıştır.