Umelá inteligencia sľubuje rýchlejšie spracovanie vedeckej literatúry, no pri systematických prehľadoch môže byť rýchlosť vykúpená stratou spoľahlivosti. Podľa Rupy Sarkar z Cochrane Collaboration dnešné nástroje ešte nie sú pripravené na bežné nasadenie tam, kde sa od výsledkov odvíjajú klinické odporúčania, verejné zdravotníctvo aj politické rozhodnutia.
Why AI can’t be trusted to write scientific reviews.
Sarkar, ktorá je od marca šéfredaktorkou londýnskej Cochrane Collaboration, upozorňuje, že ich organizácia sama testuje možnosti, ako AI využiť na zvýšenie efektivity a rozsahu zdravotníckych systematických prehľadov. Práve tieto prehľady patria medzi najnáročnejšie formy syntézy dôkazov, pretože sa snažia zhrnúť všetok dostupný výskum k danej otázke čo najpresnejšie a metodicky konzistentne.
Skúsenosť Cochrane je však zatiaľ opatrná. Predstava, že stroje dokážu nahradiť ľudí vo všetkých metodických krokoch, je podľa autorky chybná. Systematický prehľad nie je len séria technických úloh. Nestačí vyhľadať štúdie, vybrať relevantné záznamy, vytiahnuť dáta a napísať text. Potrebné je aj odborné posúdenie toho, aká otázka má zmysel, ktoré výsledky sú naozaj relevantné, ako ich interpretovať a čo znamenajú pre klinickú prax alebo politiku.
Práve tu sa ukazuje slabina súčasných modelov. Kontext, jemné významové rozdiely a odborné nuansy bývajú v tréningových dátach AI zachytené slabo. Navyše pretrváva problém takzvaných halucinácií, teda situácií, keď model vytvorí nepravdivé alebo vymyslené informácie. To znamená, že výstupy musia aj tak overovať ľudskí experti.
V Cochrane hodnotili nástroje určené najmä na triedenie štúdií a extrakciu dát, čiže na úlohy, ktoré sú pri ručnom spracovaní mimoriadne časovo náročné. Obzvlášť to platí v prípadoch, keď primárne dáta nie sú ľahko dostupné a treba ich zbierať z viacerých zdrojov alebo odvodzovať z publikovaných výsledkov. Aj tu sa však ukázali limity.
Podľa Sarkar väčšinu dostupných nástrojov vyvinuli súkromné firmy. Pri prehľadoch zameraných na lieky a zdravotnícke pomôcky je to problém, pretože takéto hodnotenia musia zostať nezávislé od priemyslu. Ďalšou prekážkou je, že len málo modelov je open source a mnohé fungujú ako netransparentné proprietárne „black box“ systémy. Potom nie je možné dôkladne preveriť, či nástroj napríklad neuprednostňuje skúšania s výsledkami priaznivými pre konkrétnu farmaceutickú firmu.
Nejde len o princíp, ale aj o prax. Sarkar píše, že dnešné nástroje si vyžadujú dlhé obdobie zaúčania pre samotnú AI aj pre človeka, ktorý s ňou pracuje, kým začnú prinášať spoľahlivejšie výstupy. Zatiaľ sa podľa skúsenosti Cochrane celý proces pri jednotlivých prehľadoch predlžuje namiesto toho, aby sa skrátil.
Autorka preto neodmieta AI ako takú, ale spochybňuje súčasný smer jej nasadzovania. Namiesto snahy generovať celé individuálne prehľady by sa podľa nej vývojári mali sústrediť na systémy, v ktorých budú ľudia a AI spolupracovať pri hodnotení štúdií účinnejšie a transparentnejšie.
Prečo na tom záleží, je zrejmé: systematické prehľady a iné formy syntézy dôkazov neostávajú len v akademických časopisoch. Vstupujú do klinickej praxe, ovplyvňujú odporúčania pre verejné zdravie a formujú politické rozhodnutia s dopadom na celé populácie. Chyby v takomto procese môžu pacientom ponúknuť falošnú nádej alebo viesť zdravotné systémy k míňaniu peňazí na neúčinné či nebezpečné intervencie.
Čo je systematický prehľad a prečo je taký dôležitý
Systematický prehľad je v širšom zmysle pokus zoradiť a kriticky zhodnotiť všetky dostupné dôkazy k presne formulovanej otázke. Na rozdiel od bežného prehľadového textu má prísne pravidlá pre vyhľadávanie, výber štúdií aj spracovanie výsledkov. Práve preto býva v medicíne a verejnom zdravotníctve považovaný za jednu z najdôležitejších opôr rozhodovania. Text Nature News však zároveň pripomína, že vysoká metodická kvalita nevzniká automaticky zo samotného zberu dát, ale aj z odborného úsudku.
Kde môže AI pomáhať a kde naráža
Vo všeobecnosti dáva zmysel skúšať AI pri úlohách, ktoré sú opakované, rozsiahle a časovo náročné, napríklad pri predbežnom triedení veľkého počtu záznamov alebo pri vyťahovaní údajov z textov. Práve takéto použitia opisuje aj Cochrane. Zdroj však upozorňuje, že medzi technickou pomocou a plnou náhradou expertov je veľký rozdiel. Ak model nevie spoľahlivo zachytiť kontext, významové nuansy a metodické jemnosti, môže zlyhať práve tam, kde je potrebná najväčšia opatrnosť.
Prečo je transparentnosť pri zdravotných dôkazoch kľúčová
Pri nástrojoch používaných na hodnotenie liekov a zdravotníckych pomôcok nie je dôležitá len rýchlosť, ale aj overiteľnosť postupu. Všeobecne platí, že čím viac rozhodovanie systému pripomína „čiernu skrinku“, tým ťažšie sa odhaľujú možné skreslenia. V zdravotníckom výskume je to obzvlášť citlivé, pretože aj malé systematické odchýlky môžu ovplyvniť závery s praktickými následkami. Práve preto Sarkar zdôrazňuje problém proprietárnych modelov a potrebu nezávislosti od priemyslu.
Aj keď sa o AI často hovorí ako o nástroji na automatizáciu poznania, vedecké hodnotenie nie je len mechanické triedenie informácií. Odborníci musia rozhodovať, či je výskumná otázka správne položená, či sú jednotlivé štúdie porovnateľné, aké sú ich limity a čo výsledky znamenajú v reálnom svete. Zdroj tvrdí, že práve tieto vrstvy interpretácie dnešné modely nezvládajú dostatočne spoľahlivo. Riziko halucinácií navyše znamená, že bez ľudskej kontroly nemožno ich výstupom dôverovať.
Čo by sa muselo zmeniť ďalej
Ak má AI v tejto oblasti priniesť skutočný prínos, podľa Sarkar by sa vývoj nemal sústreďovať na napodobňovanie celého ľudského pracovného postupu s cieľom človeka nahradiť. Sľubnejší sa javí model spolupráce, v ktorom nástroje podporujú expertov pri konkrétnych úlohách a zároveň ostávajú kontrolovateľné. V širšom kontexte to znamená potrebu lepšej transparentnosti, starostlivého testovania a jasného určenia hraníc, kde automatizácia pomáha a kde už ohrozuje spoľahlivosť výsledku. Presne to je pri syntéze vedeckých dôkazov rozhodujúce.
Na poskytovanie tých najlepších skúseností používame technológie, ako sú súbory cookie na ukladanie a/alebo prístup k informáciám o zariadení. Súhlas s týmito technológiami nám umožní spracovávať údaje, ako je správanie pri prehliadaní alebo jedinečné ID na tejto stránke. Nesúhlas alebo odvolanie súhlasu môže nepriaznivo ovplyvniť určité vlastnosti a funkcie.
Funkčné
Vždy aktívny
Technické uloženie alebo prístup sú nevyhnutne potrebné na legitímny účel umožnenia použitia konkrétnej služby, ktorú si účastník alebo používateľ výslovne vyžiadal, alebo na jediný účel vykonania prenosu komunikácie cez elektronickú komunikačnú sieť.
Predvoľby
Technické uloženie alebo prístup je potrebný na legitímny účel ukladania preferencií, ktoré si účastník alebo používateľ nepožaduje.
Štatistiky
Technické úložisko alebo prístup, ktorý sa používa výlučne na štatistické účely.Technické úložisko alebo prístup, ktorý sa používa výlučne na anonymné štatistické účely. Bez predvolania, dobrovoľného plnenia zo strany vášho poskytovateľa internetových služieb alebo dodatočných záznamov od tretej strany, informácie uložené alebo získané len na tento účel sa zvyčajne nedajú použiť na vašu identifikáciu.
Marketing
Technické úložisko alebo prístup sú potrebné na vytvorenie používateľských profilov na odosielanie reklamy alebo sledovanie používateľa na webovej stránke alebo na viacerých webových stránkach na podobné marketingové účely.
