En ny studie publicerad i journalen PLOS Digital Health visar att Open AI:s senaste stora språkmodell GPT-4 är antingen lika bra eller bättre på att analysera ögonproblem och föreslå behandlingar än alla utom de högst rankade specialistläkarna. Det hela uppmärksammades först av Financial Times.
Studien använde sig av 87 olika patientscenarion som testades på stora språkmodeller såväl som oftalmologer (specialistläkare för ögon). Prestandan för GPT-4 låg då på 69 procent medan för GPT-3.5 låg den på 48 procent. Den stora språkmodellen LLaMA fick 32 procent medan PaLM 2 fick 56 procent.
GPT-4 kan därmed jämföras fördelaktigt med expert-oftalmologer som hade en median på 76 procent och ett intervall på 64-90 procent. Oftalmologi-studenter hade en median på 59 procent och ett intervall på 57–63 procent, medan ospecialiserade yngre läkare hade en median på 43 procent och ett intervall på 41–44 procent.
Oftalmologi har fått ett stort fokus när det gäller att försöka använda AI i klinisk praxis och komma förbi problem som att stora språkmodeller kan hallucinera fram fiktiv data.