Малко след като чатботът ChatGPT беше пуснат публично, програмистите започнаха да обръщат внимание на една забележителна характеристика на на произведението на OpenAI: че може бързо да изписва код в отговор на лесни подкани.

Но трябва ли софтуерните инженери наистина да се доверяват на иновативната технология?

Във все още нерецензирано проучване изследователи от университета Purdue откриват, че популярният инструмент за изкуствен интелект е сбъркал малко повече от половината от 517 запитвания за софтуерно инженерство от популярната платформа за въпроси и отговори Stack Overflow - отрезвяваща проверка на реалността, която трябва да накара програмистите да се замислят два пъти, преди да използват отговорите на ChatGPT във важни проекти.

Патологичен лъжец

Изследването обаче отива по-далеч, като открива интригуващи нюанси и в способността на хората. Изследователите помолили група от 12 участници с различни нива на опит в програмирането да анализират отговорите на ChatGPT. Макар че те са склонни да оценяват отговорите на Stack Overflow по-високо в категории, включващи правилност, изчерпателност, краткост и полезност, те не са се справили отлично с идентифицирането на грешните отговори на ChatGPT, като не са успели да забележат грешните отговори в 39,34% от случаите.

С други думи, ChatGPT е много убедителен лъжец - реалност, с която сме твърде добре запознати.

"Потребителите пренебрегват невярната информация в отговорите на ChatGPT (в 39,34% от случаите) благодарение на изчерпателните, добре формулирани и хуманоидни прозрения в отговорите на ChatGPT", се казва в проучването.

И така, доколко трябва да сме притеснени? От една страна, има много начини да се стигне до един и същ "правилен" отговор в софтуера. Много програмисти също така казват, че проверяват резултатите на чатбота, което предполага, че разбират ограниченията на инструмента. Но дали това ще продължи да бъде така, предстои да разберем.

Липса на разум

Изследователите твърдят, че все още трябва да се свърши много работа, за да се отстранят тези недостатъци.

"Въпреки че съществуващите усилия се фокусират върху премахването на т.нар. "измислици" от големите езикови модели, те са приложими само за поправяне на фактологични грешки", пишат те. "Тъй като коренът на концептуалната грешка не е халюцинацията, а по-скоро липса на разбиране и разсъждение, съществуващите корекции не са приложими за намаляване на концептуалните грешки."

"В отговор на това трябва да се съсредоточим върху научаването на ChatGPT да разсъждава", заключават изследователите - сложна задача за настоящото поколение ИИ. /БГНЕС