ChatGPT absolvoval skúšky z medicíny bez špeciálnej prípravy

Spoločnosť OpenAI predstavila koncom minulého roka doteraz najpokročilejšieho chatbota ChatGPT a odvtedy bol testovaný v takmer všetkých možných situáciách, ale najväčšie kontroverzie vyvolala jeho schopnosť pomáhať ľuďom pri štúdiu, písaní seminárnych prác prípadne podvádzaní.

Zamestnanci kalifornského poskytovateľa zdravotnej starostlivosti Ansible Health od decembra pracujú na využití potenciálu bota na generovanie ľudských odpovedí na otázky a ChatGPT už pomáha s úlohami, ako je napríklad vypracovanie pripomienok na platby a zjednodušenie zdravotných záznamov z lekárskeho žargónu pre pacientov.

V štúdii uverejnenej koncom decembra (medzi jej autormi je okrem výskumníkov spoločnosti Ansible aj spoločnosť ChatGPT) sa uvádza, že lekári spoločnosti zaznamenali 33-percentné skrátenie "času potrebného na dokončenie dokumentácie a nepriamych úloh súvisiacich so starostlivosťou o pacienta".

Na otestovanie schopnosti chatbota klinicky uvažovať mu bola zadaná skrátená verzia skúšky USMLE (US Medical Licensure Examination) - trojstupňová skúška, ktorú musí absolvovať každý, kto chce v Spojených štátoch získať lekársku licenciu. Prvý z týchto troch testov zvyčajne absolvujú študenti druhého ročníka medicíny, druhý študenti štvrtého ročníka a tretí lekári, ktorí ukončili prvý rok postgraduálnej prípravy.

Kým väčšina študentov sa na každú skúšku, ktorá trvá dva dni, pripravuje mesiace alebo dokonca rok, ChatGPT absolvoval test za niekoľko minút bez akejkoľvek špeciálnej prípravy. Po uistení sa, že testovacie otázky neboli súčasťou súboru textov použitých na trénovanie ChatGPT, výskumníci položili botovi skúšobné otázky z predchádzajúcich rokov (od otázok s výberom odpovedí až po písanie esejí) a potom nechali odpovede vyhodnotiť dvomi lekárskymi skúšajúcimi nezávisle od seba.

"ChatGPT splnil alebo sa priblížil k hranici úspešnosti vo všetkých troch skúškach bez akéhokoľvek špeciálneho tréningu alebo pomoci,"

píšu výskumníci v predtlačovej štúdii, ktorá čaká na recenziu. Bot dosiahol v každej z troch skúšok skóre v rozmedzí 50 až 60 percent, čo sa nedá presnejšie kvantifikovať, pretože niekoľko otázok malo problémy s jeho zabudovanou funkciou, podľa ktorej ChatGPT nemôže poskytovať lekárske rady, takže tieto úlohy nebolo možné započítať. V každom prípade absolvovať skúšky je možné s výsledkom nad 60 percent, takže sa dá povedať, ako uvádza štúdia, že

"ChatGPT sa svojím výkonom nachádza pohodlne v rozpätí".

Vijay Pande, investor v oblasti zdravotníctva zo spoločnosti Andreessen Horowitz, v reakcii pre Axios ohľadom výsledkov uviedol: "Myslím, že sme uprostred 20-ročného oblúka, podobného tomu, čo sme videli vo finančnom sektore". Podľa Pandeho bolo v roku 2000 šialené si myslieť, že počítač môže poraziť profesionálneho obchodníka z Wall Street. Dnes je dosť bláznivé myslieť si, že by dokázal poraziť počítač.

Inými slovami, o desať rokov sa možno budeme s údivom pozerať na rok 2023, keď ľudia ešte stále pochybovali, či stroje dokážu dobehnúť alebo dokonca prekonať schopnosti ľudí pri ich každodenných úlohách.