A ChatGPT robot simán megcsinálja az orvosi egyetemi vizsgákat

Az ide kattintva tavaly év vége óta bárkinek ingyenesen elérhető ChatGPT mesterséges intelligencia eszköz képes átmenni, vagy legalábbis majdnem átmenni az amerikai orvosi engedélyezési vizsgákon – állítják amerikai kutatók, akik próbára tették a robotot.

A ChatGPT azon „generatív mesterséges intelligencia” programok közé tartozik, amelyek képesek képeket, videót és hangot készíteni, érvelni, könyveket összefoglalni, vicceket mondani, kódot írni és így tovább, amit csak kérünk tőlük.

Sajnos, mivel készséges, ártó kódokat is tud írni, időnként roppant magabiztosan nagyokat téved – de ez is olyan emberi, nem? A diákok, egyetemi hallgatók örvendeznek, mert semmi perc alatt megírja helyettük a dolgozatukat… Ezen a héten történt, hogy a New York-i iskolák betiltották a ChatGPT használatát, az ausztrál egyetemek pedig közölték, hogy a csalásokat megelőzendő, jobb híján száműzik a számítógépet és visszaállítják a „toll és papír” alapú vizsgákat.

És íme a hír: a ChatGPT több mint 50 százalékot ért el az egyik legnehezebb szabványosított teszten, az amerikai orvosi engedélyezési vizsgán (USMLE) – írják a tanulmány szerzői az RNZ beszámolója szerint.

Az USMLE-re minden orvosnak szüksége van ahhoz, hogy engedélyt szerezzen az Egyesült Államokban folytatott orvosi gyakorlatra. Három vizsgából áll, az elsőt általában a másodéves orvostanhallgatók, a másodikat a negyedik évfolyamon tanulók, az utolsót pedig az orvosok egy év posztgraduális képzés után teszik le.

A legtöbb jelentkezőnél a vizsga több mint egy év, kifejezetten a tesztekre való felkészülési időt igényel. Az első két teszt egy napig, az utolsó két napig tart.

A kutatók a korábbi vizsgák kérdéseit betáplálták a ChatGPT-be, és a válaszokat a nyílt végű írásbeli válaszoktól a feleletválasztós válaszokig, egymástól függetlenül két orvos bíráló értékelte.

Lényeges, hogy azt is ellenőrizték, hogy a válaszok ezekre a kérdésekre nem szerepeltek a ChatGPT betanítási adatkészletében. Magyarul: a ChatGPT nem „látta” még a válaszokat, azokat saját kútfőből kellett kitalálnia.

A robot mindhárom vizsgán a teljesítési küszöbön vagy annak közelében teljesített, minden speciális képzés nélkül – rögzítették a kutatók. Több mint 50 százalékot kapott az összes vizsgálat során, és megközelítette az USMLE 60 százalékos megfelelési küszöbét.

Phillip Dawson, a Deakin Egyetem akadémiai integritáskutatója elmonta:

Kane Murdoch, a Macquarie Egyetem akadémiai visszaélésekért felelős vezetője azt mondta, „egyáltalán nem lepődött meg”, hogy a ChatGPT át tudott menni az USMLE-n.

Ő és mások azt szorgalmazzák, hogy az egyetemek fogadják el a ChatGPT-t, ahelyett, hogy teljesen betiltanák.

Kideríthető?

A ChatGPT elfogadható minőségű tudományos írásokat tud generálni, amelyeket általában nagyon nehéz leleplezni, hogy nem gép írta. A ChatGPT ma legfeljebb a nagyon udvarias és kissé hivatalnokian precíz modoráról ismerhető fel: amúgy roppant szakszerűen tényeket és hivatkozásokat ír.

Kane Murdoch azt állítja, a legtöbb akadémikus „ha nem tudja, mit kell keresnie”, nem veszi észre, ha egy diák a ChatGPT-vel íratta meg a dolgozatát.