Et eksperiment: KI vs leger i akuttmedisinske tilfeller

Klinisk diagnostisering er en sekvensiell hypotetisk-deduktiv prosess med informasjonsinnsamling og resonnement. Leger starter med begrenset informasjon, formulerer en innledende differensialdiagnose, og stiller deretter spørsmål som kan bekrefte eller avkrefte den tentative diagnosen og supplerer med å rekvirere tester. Samtidig vurderes forventet diagnostisk utbytte av hver av dem mot kostnader, pasientbelastning og forsinkelser i utredningen. Etter hvert som funnene kommer tilbake, justerer legen kontinuerlig sin tentative diagnose og vurderer om bevisene er tilstrekkelige til å stille en diagnose eller starte behandling, eller om ytterligere utredning er nødvendig. Denne hypotetisk deduktive metoden med strategisk informasjonsinnsamling er kjernen i klinisk diagnose.

Språkmodeller (KI) har vist lovende evner til medisinsk resonnering og oppnår toppresultater på eksamensprøver og strukturerte diagnostiske kasusbeskrivelser. Men frem til nå har ikke språkmodellene blitt testet i diagnostiske situasjoner som etterligner virkeligheten der den diagnostiske prosessen innebærer en sekvensiell innhenting av informasjon som samlet vurderer diagnostisk nøyaktighet og kostnader ved diagnostisk utredning

I dette eksperimentet publisert i Science, ville forskerne simulere kliniske situasjoner der pasientene ikke hadde ferdigskrevne journalnotater av symptomer og laboratoriefunn, men i stedet som i den virkelige verden, kom pasientene med en kort sykehistorie og så var det opp til KI-agenten/legene å spørre ut den enkelte pasient om ulike symptomer og deretter rekvirere prøver¹.

For å etterligne reelle kliniske situasjoner bedre, utarbeidet forskerne symptombeskrivelser basert på 304 kasuser publisert i New England Journal of Medicine og 325 kasuser fra et akuttmedisinsk mottak. Deretter kunne en KI-agent eller en faktisk lege stille spørsmål, bestille undersøkelser og stille diagnoser. Forskerne målte hvor nøyaktig den endelige diagnosen var, samt kostnadene ved undersøkelsene som ble bestilt for å komme frem til den.

Generelt stilte KI-agentene riktig diagnose dobbelt så ofte som leger, som begge hadde full tilgang til diagnostiske hjelpemidler – i omtrent 80 prosent av tilfellene, mot 40 prosent for legene. KI-agentene pådro seg dessuten bare halvparten, eller i noen tilfeller bare en tredjedel, av kostnadene til undersøkelser og prøver sammenlignet med menneskene.

Forskerne planlegger nå å begynne testingen av KI-verktøyet på faktiske pasienttilfeller ved en akuttmottak-avdeling i løpet av de neste månedene.