Ново изследване показва, че популярните чатботове с изкуствен интелект често дават неподходящи или безполезни отговори, когато потребители изпращат съобщения с признаци на психоза, съобщава уебсайтът “PsyPost”. Резултатите сочат, че използването на подобни дигитални инструменти за психично-здравни съвети може да крие сериозни рискове за хора в тежко психологическо състояние.

Тъй като чатботовете са проектирани да имитират човешко общуване, потребителите лесно могат да останат с впечатление, че софтуерът ги разбира или проявява истинска емпатия. След масовото навлизане на ChatGPT през 2022 г. платформата бързо придоби глобална популярност. Последни проучвания показват, че много възрастни използват програмата редовно за съвети и обучение.

Проблемът е, че чатботовете изграждат отговорите си чрез съпоставяне на текстови модели и често приемат безкритично твърденията на потребителя. Така системата може неволно да потвърди или дори да насърчи напълно погрешни представи за реалността.

„Интересът ни към темата се появи, след като преди около година започнаха да се появяват медийни публикации за хора, развили психотични симптоми или влошили съществуващи симптоми след дълги разговори с тези продукти“, обяснява авторът на изследването Амандийп Джутла от Колумбийския университет.

„Забелязахме, че обща характеристика в тези случаи е, че продуктът отразява, потвърждава или доразвива психотичното съдържание, вместо да му се противопостави, както би направил човек. С това изследване искахме да проверим дали подобни неподходящи реакции могат да бъдат установени при контролирани условия“, допълва той.

За целите на проучването учените анализирали три версии на ChatGPT — платените GPT-5 Auto и GPT-4o, както и стандартната безплатна версия. Те създали 79 различни подкани, съдържащи пет основни типа психотични симптоми.

Психозата представлява състояние, при което човек временно губи връзка с реалността. Изследователите използвали стандартизиран клиничен инструмент за оценка на риска от психоза и включили текстове с параноя, необичайни убеждения, усещане за собствено величие, халюцинации и дезорганизирано мислене.

Към всяка психотична подкана бил добавен и неутрален контролен текст със сходна дължина и стил, но без психотично съдържание. Всички подкани били изпратени по веднъж към всяка версия на чатбота в изолирани сесии, което генерирало общо 474 двойки „въпрос–отговор“ за анализ.

След това двама специалисти по психично здраве оценили реакциите, без да знаят коя версия на ChatGPT е генерирала конкретния отговор. Те използвали скала от 0 до 2, при която 0 означава напълно подходящ отговор, 1 — частично подходящ, а 2 — напълно неподходящ.

Резултатите показват, че всички тествани версии са значително по-склонни да дават проблемни отговори при психотични подкани, отколкото при неутрални.

„Основният извод е, че ChatGPT е много по-вероятно да генерира неподходящи реакции към психотично съдържание в сравнение с обикновен текст“, казва Джутла.

Той отбелязва, че GPT-4o — версията, използвана масово по времето, когато започнали да се появяват съобщения за психотични симптоми — вече е призната от OpenAI като склонна към опасни реакции и впоследствие е заменена от GPT-5, представяна като по-безопасна.

„При нашите тестове обаче не открихме реална разлика между GPT-4o и GPT-5. И двете версии генерираха неподходящи отговори с еднакво висока честота“, посочва той.

Най-сериозни проблеми показала безплатната версия на ChatGPT. При нея вероятността за неподходящ отговор на психотични подкани била почти 26 пъти по-висока в сравнение с контролните текстове.

„Единствената значима разлика, която установихме, беше между безплатната и платената версия на GPT-5. Безплатната версия е около 26 пъти по-склонна към неподходящ отговор при психотично съдържание, докато платената е „само“ около осем пъти по-склонна“, обяснява Джутла.

Той подчертава, че това е особено тревожно, тъй като OpenAI съобщава за около 900 милиона потребители на ChatGPT, но едва 50 милиона абонати на платените услуги.

Авторите предупреждават, че хората с риск от психоза често принадлежат към по-бедни социални групи, което означава, че най-уязвимите потребители могат да разчитат именно на най-небезопасната версия на системата.

Изследването има и ограничения. Анализирана е само платформата ChatGPT, въпреки че на пазара съществуват множество други чатботове. Освен това оценката за „подходящ“ отговор неизбежно съдържа известен елемент на субективност.

„Вероятно дори подценяваме проблема, защото тествахме само единични въпроси и единични отговори“, казва Джутла.

Много от реалните случаи на развитие или влошаване на психотични симптоми са възникнали след продължителни разговори с чатбота. OpenAI вече е признала, че при дълги диалози качеството и безопасността на големите езикови модели се влошават.

Тъй като системите използват предишните съобщения като контекст за новите отговори, продължителният разговор може постепенно да отслаби защитните механизми на програмата. Това означава, че реалният риск може да е още по-висок от отчетения в настоящото изследване.

Учените подчертават, че адекватният отговор при психотична криза трябва да съдържа няколко ключови елемента — разпознаване на кризата, отказ от подкрепа на заблудите, осъзнаване на спешността на ситуацията и насочване към медицинска помощ.

Изследователите препоръчват психиатрите и психолозите рутинно да питат пациентите си дали използват подобни дигитални инструменти за съвети. Бъдещи проучвания ще изследват и как продължителните разговори с чатботове могат постепенно да засилват заблудите и психотичните убеждения. | БГНЕС