Gosta Labsilla on ilo julkistaa ensimmäiset tieteelliset tuloksemme vuoden 2024 ASCO-vuosikokouksen yhteydessä. Tutkimuksessamme selvitettiin suurten kielimallien käyttöä ja suorituskykyä hyödyntämällä kontekstuaalista oppimista (in-context learning) ja hakuavusteista generointia (retrieval-augmented generation) Euroopan lääketieteellisen onkologian järjestön (ESMO) ja Amerikan kliinisen onkologian järjestön (ASCO) kliinisten hoitosuositusten tulkinnassa ei-pienisoluisen (NSCLC) ja pienisoluisen keuhkosyövän (SCLC) osalta.
Tieteellinen tiivistelmä on nyt luettavissa vuoden 2024 ASCO-vuosikokouksen verkkosivuilla. Tässä artikkelissa kerromme tarkemmin tutkimuksemme alkuvaiheista ja sen merkityksestä tulevaisuuden kannalta.
Tausta: Tutkimuksen merkitys ja tutkimuskysymykset
Tekoälyn viimeaikainen kehitys, erityisesti edistyneiden suurten kielimallien (LLM) saralla, on avannut uusia mahdollisuuksia potilaiden hoidon parantamiseen useilla eri osa-alueilla. Nämä kehittyneet tekoälyjärjestelmät voivat merkittävästi parantaa kliinistä päätöksentekotukea tarjoamalla terveydenhuollon ammattilaisille tarkkaa ja näyttöön perustuvaa tietoa reaaliajassa, mikä parantaa diagnostiikan tarkkuutta ja optimoi hoitosuunnitelmia. Lisäksi kielimallit voivat tukea potilasohjausta vastaamalla lääketieteellisiin kysymyksiin, mikä antaa potilaille luotettavaa tietoa oman terveyden tehokkaampaan hallintaan.
Potentiaalistaan huolimatta kielimallien integrointia kliiniseen rutiinityöhön ovat hidastaneet haasteet, kuten hallusinaatiot. Tekoälyn yhteydessä hallusinaatioilla tarkoitetaan tilanteita, joissa malli tuottaa virheellistä tai epätarkkaa tietoa. Tämä on ollut merkittävä este kielimallien käyttöönotolle terveydenhuollossa, sillä mallien tarjoaman tiedon luotettavuus ja tarkkuus ovat ensiarvoisen tärkeitä.
Ensisijainen tutkimuskysymyksemme oli: Onko mahdollista parantaa suurten kielimallien suorituskykyä ja vähentää hallusinaatioita kliinisten hoitosuositusten tulkinnassa käyttämällä kontekstuaalista oppimista (ICL) ja hakuavusteista generointia (RAG)? Tutkimuksessamme selvitimme uutta menetelmää, joka voisi mahdollistaa kielimallien tehokkaamman hyödyntämisen yhdessä validoitujen kliinisten aineistojen, kuten hoitosuositusten, kanssa kontekstuaalisen oppimisen ja hakuavusteisen generoinnin avulla.
Menetelmät: Kehitetty kliinisten suositusten RAG-sovellus ja tutkimusasetelma
Tutkimuskysymysten ratkaisemiseksi kehitimme edistyneen menetelmän, joka yhdistää kontekstuaalisen oppimisen ja hakuavusteisen generoinnin (RAG) Gosta Labsin terveydenhuollon tekoälyalustassa. Ensin kuratoimme hoitosuositukset, mukaan lukien kaikki asiaankuuluvat taulukot ja kaaviot, ja muutimme ne jäsenneltyyn tekstimuotoon. Tämä teksti jaettiin dokumentteihin ja tallennettiin vektoritietokantaan tehokasta hakua varten.
Seuraavaksi käytimme toteutuksissamme OpenAI:n GPT-4 Turbo -mallia (versio gpt-4-1106-preview), jonka tietämys katkeaa huhtikuuhun 2023 ja jota pidettiin tutkimushetkellä yleisesti edistyneimpänä kielimallina. Lopuksi kehitimme algoritmin, joka etsii vektoritietokannasta olennaisimmat dokumentit ja luo kielimallille tehtäviä yhdistämällä tehtäväkehotteet näihin dokumentteihin.
Alla on esitetty visualisointi ESMO:n ja NCCN:n keuhkosyövän hoitosuosituksia varten kehitetystä RAG-sovelluksesta:
Tutkimusryhmään kuului kaksi onkologia, jotka arvioivat suurten kielimallien suorituskykyä. He eivät osallistuneet RAG-sovelluksen kehittämiseen, vaan toimivat ulkopuolisina arvioijina. Onkologit laativat mallille asiaankuuluvia kysymyksiä ja arvioivat sen jälkeen vastaukset. Kaikkiaan he loivat 11 pienisoluiseen keuhkosyöpään ja 13 ei-pienisoluiseen keuhkosyöpään liittyvää kysymystä, jotka keskittyivät hoitosuosituksiin ja määritelmiin. Yksityiskohtaisemmat kysymykset on esitetty tulososiossa.
Testasimme kolmea eri asetusta LLM-mallin suorituskyvyn arvioimiseksi:
- GPT-4 Turbo -malli olemassa olevalla tiedolla (GPT-4): Hyödynnetään mallin valmiiksi opittua tietokantaa ilman lisäkontekstia.
- ICL ja maksimikontekstin pituus (ICL-MC): Mallille annetaan koko ohjeistus tai enintään 128 000 tokenin konteksti, jotta mukaan saadaan mahdollisimman kattavasti tietoa ohjeistuksista.
- ICL ja RAG (ICL-RAG): Käytetään heuristista lähestymistapaa, jossa vektoritietokannasta valitaan vain olennaisimmat osat, tavoitteena parantaa lähdemateriaalien tehokkuutta ja osuvuutta.
Jokaiselle asetukselle luotiin erityisiä kysymyksiä, jotka räätälöitiin ESMO-ohjeistusten, NCCN-ohjeistusten sekä näiden yhdistelmän pohjalta. Kaksi kokenutta onkologia arvioi yhteensä 216 vastausta, jotka oli tuotettu näillä eri asetuksilla. He arvioivat kunkin vastauksen vastaavuutta virallisiin ESMO- ja NCCN-ohjeistuksiin. Kysymyssarjat olivat sokkoutettuja, eli onkologit eivät tienneet, minkä mallin vastauksia he arvioivat. Arviointia varten kehitettiin kyselylomake, joka sisälsi seuraavat kysymykset ja vastausvaihtoehdot:
- Antoiko järjestelmä vastauksen kysymykseen? (Kyllä / Ei)
- Kuinka tarkasti järjestelmän vastaus vastaa [ESMO/NCCN]-ohjeistuksia? (Täysin tarkka / Osittain tarkka / Ei tarkka)
- Jos vastauksessa on epätarkkuuksia, mikä kuvaa parhaiten ongelmaa? (Vastauksesta puuttuu ohjeistusten mukaista tärkeää tietoa / Vastaus sisältää virheellistä tai epätosaa (hallusinoitua) tietoa / Vastaus on täysin virheellinen)
- Sisälsikö järjestelmän vastaus tarkkaa näyttöä? (Kyllä, näyttö oli tarkkaa / Osittain, osa näytöstä oli tarkkaa, mutta osa ei / Ei, näyttö ei ollut tarkkaa)
- Johtaisiko järjestelmän antaman neuvon noudattaminen off-label-hoitoon? (Kyllä / Ei / Ei sovellettavissa)
Tutkimusasetelma on havainnollistettu alla:
Pienisoluista keuhkosyöpää (SCLC) koskevien kysymysten tulokset
Onkologien arvioiden tulokset SCLC-aiheisiin kysymyksiin on esitetty alla olevassa taulukossa:
ESMO:n SCLC-ohjeistusten osalta sekä RAG-sovellus että puhdas ICL (jossa koko ohjeistus toimi kontekstina) suoriutuivat paremmin kuin GPT-4 Turbo -malli omalla tietämyksellään. Kaiken kaikkiaan ICL-RAG- ja ICL-MC-sovellukset vastasivat 90,9 prosenttiin (10/11) SCLC-kysymyksistä täysin oikein. ICL-RAG-mallin kohdalla onkologit eivät päässeet yksimielisyyteen yhdestä arviosta, ja ICL-MC-mallilla oli yksi osittain oikea vastaus. GPT-4 vastasi 72,7 prosenttiin (8/11) kysymyksistä täysin oikein, ja 18,2 prosenttiin (2/11) kysymyksistä saatiin osittain oikeita vastauksia. Yhden kysymyksen kohdalla onkologit eivät päässeet yksimielisyyteen mallin vastauksesta.
NCCN:n SCLC-ohjeistusten osalta ICL-RAG-sovellus suoriutui parhaiten vastaten 90,9 prosenttiin (10/11) kysymyksistä täysin oikein, joskin yhden arvion kohdalla onkologit eivät päässeet yksimielisyyteen. Seuraavana oli GPT-4, joka vastasi 81,8 prosenttiin (9/11) kysymyksistä täysin oikein, mutta kahden arvion kohdalla ei saavutettu yksimielisyyttä. ICL-MC-sovellus vastasi 45,5 prosenttiin (5/11) kysymyksistä täysin oikein ja 9,1 prosenttiin (1/11) osittain oikein, kun taas 45,5 prosentissa (5/11) arvioista onkologit eivät päässeet yksimielisyyteen, mikä viittaa todennäköisesti mallin epäselviin vastauksiin.
ESMO-ohjeistusten kohdalla kysymykset, joista arvioijat eivät päässeet yksimielisyyteen, vaihtelivat osittain oikeiden ja täysin oikeiden vastausten välillä. NCCN-ohjeistusten kohdalla ICL-MC-sovelluksen arviot vaihtelivat yhden kysymyksen osalta virheellisistä osittain oikeisiin, ja muilta osin ne vaihtelivat osittain oikeista täysin oikeisiin vastauksiin. ICL-RAG- ja GPT-4-mallien arviot vaihtelivat osittain oikeiden ja täysin oikeiden vastausten välillä.
Ei-pienisoluista keuhkosyöpää (NSCLC) koskevien kysymysten tulokset
Onkologien arvioiden tulokset NSCLC-aiheisiin kysymyksiin on esitetty alla olevassa taulukossa:
ESMO:n NSCLC-ohjeistusten osalta ICL-MC-asetus suoriutui parhaiten tarjoten täysin oikeat vastaukset 76,9 prosenttiin (10/13) kysymyksistä, kun taas kahden kysymyksen kohdalla onkologit eivät päässeet yksimielisyyteen. ICL-RAG-asetus seurasi perässä 69,2 prosentin (9/13) täysin oikeilla vastauksilla, ja kolmen kysymyksen kohdalla ei saavutettu yksimielisyyttä. Sekä ICL-MC- että ICL-RAG-malleilla oli yksi osittain oikea vastaus. GPT-4-malli tarjosi täysin oikeat vastaukset 53,8 prosenttiin (7/13) kysymyksistä, ja yksi vastaus oli osittain oikea. GPT-4:n kohdalla onkologit eivät päässeet yksimielisyyteen viidestä kysymyksestä, mikä viittaa todennäköisesti epäselvempiin vastauksiin kyseisissä kysymyksissä.
NCCN:n NSCLC-ohjeistusten osalta sekä ICL-RAG että GPT-4 vastasivat 76,9 prosenttiin (10/13) kysymyksistä täysin oikein. GPT-4:n kohdalla onkologit eivät päässeet yksimielisyyteen kolmesta kysymyksestä. ICL-RAG-mallilla oli kaksi osittain oikeaa vastausta, ja yhden kysymyksen kohdalla ei saavutettu yksimielisyyttä. ICL-MC-asetus vastasi 25 prosenttiin (3/12) kysymyksistä oikein ja 33,3 prosenttiin (4/12) osittain oikein. Onkologit eivät päässeet yksimielisyyteen 41,7 prosentista (5/12) arvioiduista kysymyksistä. Lisäksi yhdestä kysymyksestä puuttui arvio, mikä esti yksimielisyyden arvioinnin kyseisen vastauksen osalta.
ESMO-ohjeistusten kohdalla, kun onkologit eivät päässeet arvioinnissa yksimielisyyteen, arviot vaihtelivat seuraavasti:
- GPT-4 Turbo: Yhdessä arvioinnissa välillä epätarkka ja täysin tarkka, muissa välillä osittain ja täysin tarkka.
- ICL-RAG: Välillä osittain ja täysin tarkka.
- ICL-MC: Välillä osittain ja täysin tarkka.
NCCN-ohjeistusten osalta arviointien erot silloin, kun yhteisymmärrystä ei saavutettu, olivat seuraavat:
- GPT-4 Turbo: Arviot vaihtelivat osittain ja täysin tarkan välillä.
- ICL-RAG: Arviot vaihtelivat osittain ja täysin tarkan välillä.
- ICL-MC: Kahdessa tapauksessa välillä epätarkka ja osittain tarkka; muissa välillä osittain ja täysin tarkka.
Havaintoja mallien epätosista tai virheellisistä tiedoista (hallusinaatiot)
Epätarkkuuksia sisältävien vastausten kohdalla onkologit arvioivat, sisälsikö mallin vastaus epätosia tai virheellisiä tietoja (hallusinaatioita). Onkologit päätyivät yhteisymmärrykseen yhden kysymyksen kohdalla, jossa vastaus sisälsi hallusinaation: tämä oli GPT-4 Turbon vastaus kysymykseen immunoterapiasta suositeltuna hoitona laajalle levinneessä pienisoluusessa keuhkosyövässä (SCLC). ICL-RAG:n ja ICL-MC:n kohdalla arvioijat eivät päässeet yhteisymmärrykseen yhdestäkään mallin vastauksen hallusinaatiosta.
Kun arviointi tehtiin yksilöllisesti ilman yhteisymmärryksen vaatimusta, eli jos jompikumpi onkologeista tunnisti vastauksen hallusinaatioksi, saatiin seuraavat tulokset:
- GPT-4 Turbo: 14,6 % (7/48) kysymyksistä sisälsi virheellistä tai epätosellista tietoa.
- ICL-RAG: 8,3 % (4/48) kysymyksistä sisälsi virheellistä tai epätosellista tietoa.
- ICL-MC: 12,5 % (6/48) kysymyksistä sisälsi virheellistä tai epätosellista tietoa.
Tutkimuksemme johtopäätökset ja tulevaisuuden vaikutukset
Tutkimuksemme tulokset tarjoavat uutta tietoa suurten kielimallien kyvystä tulkita pienisoluisen keuhkosyövän (SCLC) ja ei-pienisoluisen keuhkosyövän (NSCLC) hoitosuosituksia. Arvioinnissamme vertailtiin GPT-4 Turbo -mallia, In-Context Learning with Maximum Context (ICL-MC) -menetelmää ja In-Context Learning with Retrieval-Augmented Generation (ICL-RAG) -menetelmää.
GPT-4 Turbo: Toimii hyvin yhdysvaltalaisissa (NCCN) suosituksissa, mutta haastavampi eurooppalaisten (ESMO) kliinisten hoitosuositusten kanssa
GPT-4 Turbo -mallin suoriutuminen SCLC- ja NSCLC-hoitosuositusten tulkinnassa vaihteli. ESMO:n SCLC-suositusten kohdalla GPT-4 Turbo vastasi täysin oikein 72,7 %:iin kysymyksistä ja osittain oikein 18,2 %:iin. NCCN:n SCLC-suositusten kohdalla GPT-4 Turbo suoriutui paremmin vastaten 81,8 %:iin kysymyksistä oikein, vaikka onkologit eivät päässeet yhteisymmärrykseen kahdesta kysymyksestä. NSCLC:n osalta malli vastasi oikein 53,8 %:iin ESMO-suositusten kysymyksistä ja 76,9 %:iin NCCN-suositusten kysymyksistä. Onkologit päätyivät yhteisymmärrykseen hallusinaatioista yhden kysymyksen kohdalla, ja yksilöllisesti arvioituna hallusinaatioita tunnistettiin 14,6 %:ssa vastauksista, mikä osoittaa tarvetta jatkokehitykselle mallin luotettavuuden parantamiseksi todellisissa kliinisissä ympäristöissä.
Mielenkiintoista on, että GPT-4 Turbo suoriutui paremmin NCCN-suosituksista kuin ESMO-suosituksista, mikä saattaa johtua yhdysvaltalaispainotteisesta opetusmateriaalista.
ICL-RAG: Johdonmukaisia ja vakaita tuloksia eri suositusten välillä
ICL-RAG-sovellus osoitti hyvää suorituskykyä sekä SCLC- että NSCLC-suositusten kohdalla. ESMO:n SCLC-suosituksissa ICL-RAG vastasi 90,9 % kysymyksistä täysin oikein, eikä yhdenkään kysymyksen kohdalla ollut erimielisyyksiä. Suorituskyky oli yhtä vahva NCCN-suositusten kohdalla: 90,9 % tarkkuus eikä erimielisyyksiä yhdenkään kysymyksen kohdalla. NSCLC:n osalta ICL-RAG vastasi 69,2 %:iin ESMO-suositusten kysymyksistä ja 76,9 %:iin NCCN-suositusten kysymyksistä oikein.
Onkologit eivät päässeet yhteisymmärrykseen hallusinaatioista ICL-RAG-sovelluksen kohdalla. Yksilöllisesti arvioituna hallusinaatioita tunnistettiin kuitenkin 8,3 %:ssa vastauksista, mikä oli pienin osuus kaikista menetelmistä. Onkologit olivat myös kaikkein yksimielisimpiä arvioidessaan ICL-RAG-tuloksia, mikä viittaa siihen, että RAG-pohjainen lähestymistapa tuottaa selkeämpiä ja paremmin tulkittavia vastauksia kuin muut menetelmät.
ICL-MC: Hyvä suorituskyky lyhyemmillä konteksteilla, haasteita pidemmillä konteksteilla
ICL-MC-asetelma tuotti lupaavia tuloksia erityisesti ESMO:n SCLC-suositusten kohdalla, joissa se vastasi 90,9 % kysymyksistä oikein. Suorituskyky oli kuitenkin heikompi NCCN-suositusten kohdalla: tarkkuus oli vain 45,5 %, ja merkittävää epäselvyyttä ilmeni, sillä 45,5 %:sta kysymyksistä ei päästy yhteisymmärrykseen. NSCLC:n kohdalla ICL-MC vastasi oikein 76,9 %:iin ESMO-suositusten kysymyksistä, mutta vain 25 %:iin NCCN-suositusten kysymyksistä (33,3 % vastauksista oli osittain oikein). Onkologit eivät päässeet yhteisymmärrykseen hallusinaatioista, mutta yksilöllisesti arvioituna hallusinaatioita tunnistettiin 12,5 %:ssa vastauksista.
ICL-MC-lähestymistapa toimi erityisen hyvin ESMO-suositusten kanssa, joissa oli pienempi token-määrä verrattuna NCCN-suosituksiin. Tämä osoittaa, että kontekstin pituuden kasvaessa mallit pyrkivät unohtamaan olennaista tietoa, mikä vastaa aiempaa tutkimustietoa kielimallien käyttäytymisestä.
Tulevaisuuden vaikutukset
Tutkimustulokset korostavat kehittyneiden kielimallien potentiaalia kliinisten hoitosuositusten tulkinnassa. Tulokset osoittavat kuitenkin myös, että hallusinaatioiden vähentäminen ja mallien vastausten tarkkuuden varmistaminen vaativat jatkuvaa kehitystä. ICL-tekniikat, erityisesti yhdistettynä RAG-menetelmään, näyttävät tarjoavan etuja tarkan ja kontekstiin sopivan tiedon tuottamisessa.
Tulevassa tutkimuksessa tulisi keskittyä mallien hienosäätöön hallusinaatioiden vähentämiseksi entisestään sekä niiden kyvyn parantamiseen kliinisten hoitosuositusten tarkassa tulkinnassa ja soveltamisessa. Kuten ESMO- ja NCCN-tulkintojen väliset erot osoittavat, paikallisten ja ajantasaisten suositusten sisällyttäminen on ratkaisevan tärkeää, jotta kielimalleja voidaan hyödyntää tehokkaasti eri terveydenhuoltojärjestelmissä ja sääntely-ympäristöissä. Lisäksi RAG-menetelmän käyttö ICL-mallien pitkän kontekstin rajoitteiden lieventämiseksi tarjoaa lupaavan suunnan mallien suorituskyvyn ja kustannustehokkuuden optimointiin.
Kaiken kaikkiaan tuloksemme osoittavat, että vaikka nykyisillä kielimalleilla on vahvaa potentiaalia, niiden täysimääräinen hyödyntäminen kliinisessä ympäristössä vaatii vielä parannuksia. Tekoälykehittäjien ja kliinisten asiantuntijoiden jatkuva yhteistyö on välttämätöntä näiden edistysaskelten saavuttamiseksi ja potilaiden hoidon laadun parantamiseksi.