Seberapa baik algoritma yang digunakan dalam analisis gambar medis yang didukung AI melakukan tugasnya masing-masing? Hal ini sangat bergantung pada metrik yang digunakan untuk mengevaluasi kinerjanya.
Sebuah konsorsium internasional yang dipimpin oleh para ilmuwan dari Pusat Penelitian Kanker Jerman (DKFZ) dan Pusat Nasional untuk Penyakit Tumor (NCT) di Heidelberg telah mengumpulkan pengetahuan yang tersedia di seluruh dunia mengenai kekuatan, kelemahan, dan keterbatasan spesifik dari berbagai metrik validasi. Dengan “Metrics Reloaded”, para peneliti kini menyediakan alat online yang tersedia secara luas yang mendukung pengguna dalam memilih algoritma yang paling sesuai untuk tugas mereka.
Semakin banyak bidang kedokteran yang mengandalkan dukungan kecerdasan buatan (AI). Hal ini terutama berlaku untuk berbagai pertanyaan berdasarkan evaluasi data gambar: misalnya, dokter mencari fokus kecil kanker pada mammogram atau menghitung volume tumor otak berdasarkan gambar tomografi dari MRI. Mereka menggunakan gambar endoskopi usus untuk melacak polip, dan ketika mengevaluasi bagian jaringan mikroskopis, perubahan halus pada sel individual harus dideteksi.
Namun apakah algoritme yang digunakan untuk berbagai jenis analisis gambar ini selalu cocok untuk tugas yang ada? Hal ini sangat bergantung pada variabel terukur mana, yang disebut sebagai “metrik” dalam istilah teknis, yang dicatat – dan apakah variabel tersebut benar-benar sesuai untuk tugas yang dimaksud.
“Kami sering memperhatikan bahwa metrik validasi yang digunakan sama sekali tidak relevan dengan tugas dari sudut pandang klinis,” kata Lena Maier-Hein dari DKFZ, mengutip sebuah contoh: “Saat mencari metastasis di otak, awalnya lebih banyak penting agar algoritme dapat mendeteksi lesi terkecil sekalipun sehingga dapat menentukan kontur setiap metastasis dengan presisi tinggi.”
Lena Maier-Hein dan rekan-rekannya khawatir bahwa penggunaan metrik validasi yang tidak sesuai dapat menghambat kemajuan ilmiah dan menunda pengenalan metode analisis gambar yang penting ke dalam praktik klinis.
Namun metrik mana yang cocok untuk pertanyaan klinis tertentu, dengan mempertimbangkan semua kekuatan, kelemahan, dan keterbatasan? Untuk mengetahuinya, para ilmuwan data DKFZ menggunakan proses terstruktur multi-tahap untuk mensurvei para pemimpin opini dari akademisi dan industri dari lebih dari 70 lembaga penelitian di seluruh dunia. Survei tersebut memungkinkan mereka mengumpulkan informasi yang sebelumnya hanya tersedia di lokasi yang tersebar di seluruh dunia.
“Melalui pekerjaan ini, kami membuat informasi yang andal dan komprehensif mengenai masalah dan kendala yang terkait dengan metrik validasi dalam analisis gambar tersedia bagi para ahli untuk pertama kalinya,” kata Annika Reinke, salah satu penulis utama.
Sebagai kumpulan informasi terstruktur yang dapat diakses oleh peneliti dari semua disiplin ilmu, penelitian ini bertujuan untuk meningkatkan pemahaman tentang masalah utama dalam analisis gambar yang dibantu AI. Meskipun fokusnya adalah pada analisis citra medis, informasinya juga dapat ditransfer ke bidang analisis citra lainnya.
Dalam makalah kedua, konsorsium ahli yang dipimpin oleh para peneliti Heidelberg kini menjelaskan “Metrics Reloaded”: Sebuah kerangka kerja komprehensif untuk membantu dokter dan ilmuwan memilih metrik yang sesuai dengan permasalahan yang ada. “Metrics Reloaded” dapat digunakan sebagai alat online. “Pengguna dipandu melalui serangkaian pertanyaan komprehensif untuk membuat sidik jari yang tepat dari masalah analisis gambar mereka. Alat ini juga menarik perhatian pada masalah spesifik yang muncul dalam isu biomedis tertentu,” jelas Paul Jäger, salah satu penulis senior dari dua publikasi tersebut.
Metrics Reloaded cocok untuk semua kategori masalah berbeda dalam analisis gambar, misalnya untuk klasifikasi gambar, deteksi objek, atau penetapan piksel individual (segmentasi semantik). Alat ini bekerja sepenuhnya secara independen dari sumber gambar, sehingga dapat digunakan dengan baik untuk gambar CT atau MRI maupun untuk gambar mikroskopis. Metrics Reloaded juga cocok untuk analisis gambar di luar masalah biomedis.
“Metrics Reloaded adalah panduan sistematis pertama yang menunjukkan kepada pengguna analisis gambar berbasis AI cara menuju algoritma yang tepat. Kami berharap Metrics Reloaded dapat digunakan seluas mungkin dan secepat mungkin, karena hal ini dapat meningkatkan kualitas dan keandalan hasil analisis gambar yang didukung AI secara signifikan. Hal ini juga akan meningkatkan kepercayaan terhadap analisis gambar yang didukung AI dalam praktik klinis rutin,” kata Minu Tizabi, salah satu penulis utama.