AI je enako dober pri diagnosticiranju bolezni kot ljudje
Prvi tovrstni sistematični pregled in metaanaliza ugotavlja, da umetna inteligenca (AI) enako dobro diagnosticira bolezen na podlagi zdravstvene podobe kot zdravstveni delavci. Potrebne pa so bolj kakovostne študije.
Nov članek preučuje obstoječe dokaze, da bi ugotovil, ali lahko umetna inteligenca diagnosticira bolezni tako učinkovito kot zdravstveni delavci.
Kolikor vedo avtorji - to je velika skupina raziskovalcev, ki jo vodi profesor Alastair Denniston iz Univerzitetne bolnišnice Birmingham NHS Foundation Trust iz Združenega kraljestva -, je to prvi sistematični pregled, ki primerja uspešnost umetne inteligence z zdravstvenimi delavci za vse bolezni.
Prof. Denniston in ekipa so preiskali več medicinskih zbirk podatkov za vse študije, objavljene med 1. januarjem 2012 in 6. junijem 2019. Skupina je rezultate svoje analize objavila v reviji Digitalno zdravje Lancet.
AI je enak zdravstvenim delavcem
Raziskovalci so iskali študije, ki so primerjale diagnostično učinkovitost algoritmov globokega učenja z učinkovitostjo zdravstvenih delavcev, ko so postavili diagnozo na podlagi slikanja v medicini.
Preučevali so kakovost poročanja v omenjenih študijah, njihovo klinično vrednost in zasnovo študij.
Poleg tega so raziskovalci pri ocenjevanju diagnostične uspešnosti umetne inteligence v primerjavi z uspešnostjo zdravstvenih delavcev preučili dva rezultata: specifičnost in občutljivost.
"Občutljivost" opredeljuje verjetnost, da bo diagnostično orodje pozitivno vplivalo na ljudi, ki imajo bolezen. Specifičnost se nanaša na natančnost diagnostičnega testa, ki dopolnjuje merilo občutljivosti.
Izbirni postopek je dal le 14 študij, katerih kakovost je bila dovolj visoka, da jo je mogoče vključiti v analizo. Profesor Denniston pojasnjuje: "Pregledali smo več kot 20.500 člankov, vendar je bilo manj kot 1% teh dovolj robustnih v svoji zasnovi in poročanju, da so neodvisni ocenjevalci zelo zaupali njihovim trditvam."
"Še več, le 25 študij je zunanje potrdilo modele umetne inteligence (z uporabo medicinskih slik iz druge populacije), le 14 študij pa je primerjalo uspešnost umetne inteligence in zdravstvenih delavcev z istim testnim vzorcem."
»V tej peščici visokokakovostnih študij smo ugotovili, da lahko poglobljeno učenje resnično natančno odkrije bolezni, od raka do očesnih bolezni kot zdravstveni delavci. Pomembno pa je omeniti, da umetna inteligenca ni bistveno presegla diagnoze pri človeku. "
Prof. Alastair Denniston
Natančneje, analiza je pokazala, da lahko umetna inteligenca v 87% primerov pravilno diagnosticira bolezen, medtem ko so zdravstveni delavci odkrili 86-odstotno natančnost. Specifičnost algoritmov za poglobljeno učenje je bila 93%, v primerjavi s človeškimi 91%.
Nepristranskosti lahko pretiravajo pri delovanju umetne inteligence
Profesor Denniston in sodelavci opozarjajo tudi na številne omejitve, ki so jih našli v študijah, ki preučujejo diagnostiko umetne inteligence.
Prvič, večina študij preučuje diagnostično natančnost umetne inteligence in zdravstvenih delavcev v izoliranem okolju, ki ne posnema redne klinične prakse - na primer zdravnikom odvzame dodatne klinične informacije, ki bi jih običajno potrebovali za diagnozo.
Drugič, pravijo raziskovalci, večina študij je primerjala samo nabore podatkov, medtem ko bi visokokakovostne raziskave na področju diagnostične uspešnosti zahtevale takšne primerjave pri ljudeh.
Poleg tega so vse študije trdile zaradi slabega poročanja, pravijo avtorji, pri čemer analiza ni upoštevala informacij, ki so manjkale v omenjenih naborih podatkov. "Večina [študij] ni poročala, ali manjkajo kateri koli podatki, kakšen delež je to predstavljalo in kako so bili v analizi obravnavani manjkajoči podatki," pišejo avtorji.
Dodatne omejitve vključujejo nedosledno terminologijo, nejasno določanje praga za analizo občutljivosti in specifičnosti ter pomanjkanje validacije zunaj vzorca.
"Obstaja neločljiva napetost med željo po uporabi nove, potencialno rešilne diagnostike in nujnostjo razvoja visokokakovostnih dokazov na način, ki bi lahko koristil bolnikom in zdravstvenim sistemom v klinični praksi," komentira prvi avtor dr. Xiaoxuan Liu iz Univerza v Birminghamu.
»Ključna lekcija našega dela je, da je pri umetni inteligenci - tako kot pri katerem koli drugem delu zdravstva - pomembna dobra zasnova študija. Brez tega lahko zlahka uvedete pristranskost, ki bo izkrivila vaše rezultate. Te pristranskosti lahko vodijo do pretiranih trditev o dobri učinkovitosti orodij z umetno inteligenco, ki se ne prenesejo v resnični svet. "
Dr. Xiaoxuan Liu
"Dokazi o tem, kako bodo algoritmi umetne inteligence spremenili rezultate pacientov, morajo izhajati iz primerjav z alternativnimi diagnostičnimi testi v randomiziranih nadzorovanih preskušanjih," dodaja soavtorica dr. Livia Faes iz očesne bolnišnice Moorfields v Londonu v Veliki Britaniji.
"Za zdaj skorajda ni takšnih preskusov, pri katerih bi na podlagi diagnostičnih odločitev, ki jih je sprejel algoritem umetne inteligence, ugotovili, kaj se nato zgodi z rezultati, ki so za bolnike res pomembni, na primer pravočasno zdravljenje, čas odpusta iz bolnišnice ali celo stopnja preživetja."
