ChatGPT изкара по-високи резултати на медицински тест от истински лекар

Ваня Милева Последна промяна на 30 май 2023 в 08:19 5014 0

Кредит Pexels / Public Domain Certification

Някои лекари нямат добри маниери на работа и изглеждат като безчувствени роботи, бълващи медицински термини. Но какво би станало, ако един изкуствен интелект отговаря на въпроси, които обикновено се задават на лекар, и го прави по начин, който предава знания и спокойствие?

Този въпрос предизвиква неотдавнашно проучване, ръководено от Калифорнийския университет. Проучването тества способността на лекарите и чатбота с изкуствен интелект ChatGPT да отговарят емпатично, като проверява кой от тях се справя по-добре с отговорите на 195 медицински въпроса.

Изследователите са използвали въпроси, публикувани в публичен сайт, наречен "AskDocs". Например един човек попитал колко опасно е да се погълне клечка за зъби. Друг попитал дали ще получи мозъчно сътресение, ако удари главата си в метален прът.

Медицински специалист, чиито пълномощия са били проверени от модератор, е отговорил на въпросите в сайта. Изследователите пуснали въпросите и през ChatGPT, за да генерират отговор.

Комисията от лекари е определила кой отговор е по-добър - този на чатбота или на лекаря, без комисията да знае предварително чии са отговорите. Всеки случай бил разглеждан от трима различни съдии и оценката била осреднена, като общият брой на оценките бил 585.

В 79% от случаите съдиите предпочели отговорите на чатбота, които съдържали по-качествена информация и по-емпатичен език от отговорите на лекаря.

В сравнение с отговорите на лекаря около 4 пъти повече отговори на чатботове попадат в най-високите критерии за качествена информация и около 10 пъти повече достигат най-високите оценки за емпатия.

Отговорите на чатботовете също така са били около 4 пъти по-дълги от тези, предоставени от лекарите, като са съдържали средно 211 думи на пост в сравнение с 52 думи на лекар.

Чатботовете превъзхождат лекарите по отношение на качеството и емпатията. Кредит: Smith et al., JAMA Internal Medicine, 2023

Пример за лекар и чатбот, отговарящи на един и същ въпрос:

Въпрос: Какъв е рискът от смърт след преглъщане и поглъщане на клечка за зъби?

Лекарят отговаря: "Ако са изминали повече от 2-6 часа, има вероятност те да са преминали в червата ви. Което означава, че не могат да бъдат извадени лесно. Много хора поглъщат ножчета за бръснене и клечки за зъби без проблем. В случай че получите стомашни болки, тогава не се колебайте да потърсите спешно помощ и не забравяйте да посочите, че сте погълнал клечка за зъби. Засега лекарите не могат да свършат много работа".

Отговорът на ChatGPT: "Естествено е да се притеснявате, ако сте погълнали чужд предмет, но в този случай е много малко вероятно клечката за зъби, която сте погълнали, да ви причини сериозна вреда. Клечките за зъби са направени от дърво, което не е токсично и няма да предизвика отравяне. Възможно е обаче клечката за зъби да причини нараняване, ако заседне в гърлото или ако пробие храносмилателния тракт. Това обаче е малко вероятно да се случи с тъпа, варена клечка за зъби, която е дълга само 2 см. Ако изпитвате някакъв дискомфорт или симптоми като болки в корема, затруднено преглъщане или повръщане, е важно да се свържете с медицинско лице за по-нататъшна оценка. Ако обаче не изпитвате никакви симптоми, може да се предположи, че клечката за зъби е преминала през храносмилателната ви система и не е необходимо да се притеснявате. Винаги е добра идея да бъдете предпазливи, когато консумирате храна, и да отстранявате всякакви чужди предмети преди хранене. Разбираемо е, че може да се чувствате параноично, но се опитайте да не се притеснявате твърде много. Много малко вероятно е клечката за зъби да ви причини някаква сериозна вреда".

Проучването показва, че чатботовете може да са по-добри в създаването на впечатление за грижовно отношение към пациента, отколкото заетият лекар, който доброволно отговаря на въпроси онлайн.

Дали подобен инструмент е полезен в клиничната практика или не, предстои да се разбере. Онлайн форумите може да не отразяват типичните взаимодействия между пациенти и лекари, при които има предварително съществуващи взаимоотношения и повече лично отношение, пишат изследователите.

И макар че ChatGPT ще предостави учтив, четлив отговор, който на пръв поглед изглежда смислен, той допуска основни грешки, а много факти, включени в отговорите му, са измислени или неверни.

Въпреки това лекарите са затрупани със съобщения от пациенти, откакто пандемията популяризира телемедицината, така че има спешна нужда от инструменти, които да повишат производителността и да подобрят обслужването. Например чатбот може да изготвя отговори на въпроси на пациенти, които след това да бъдат редактирани от лекар.

"Настоящото проучване трябва да мотивира изследванията за внедряване на асистенти с изкуствен интелект за изпращане на съобщения", пишат изследователите. "Ако на повече въпроси на пациентите се отговаря бързо, със съпричастност и по висок стандарт, това може да намали ненужните клинични посещения, освобождавайки ресурси за тези, които се нуждаят от тях."

Като се има предвид склонността на чатботовете да "халюцинират" и да си измислят факти, "би било опасно да се разчита на каквато и да е фактическа информация, дадена от такъв отговор на чатбот", подчертава Антъни Кон (Anthony Cohn), професор в Университета в Лийдс, Великобритания. "От съществено значение е всички отговори да бъдат внимателно проверени от медицински специалист."

Справка: Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum
John W. Ayers, Adam Poliak, Mark Dredze, et al
JAMA Intern Med. Published online April 28, 2023. doi:10.1001/jamainternmed.2023.1838

Източник: ChatGPT Scored Higher on a Medical Quiz Than a Real Human Doctor, Science Аlert

Виж още за:
Най-важното
Всички новини

Още от Технологии

Коментари

За писането на коментар е необходима регистрация.
Моля, регистрирайте се от TУК!
Ако вече имате регистрация, натиснете ТУК!

Няма коментари към тази новина !