Штучны інтэлект абышоў чалавека ў тэстах на тэорыю розуму

Многія спецыялісты ўважаюць, што кампутар ніколі не пройдзе такое выпрабаванне.

У даследаванні, апублікаваным у часопісе Nature Human Behavior, група правяла тэсты на тэорыю розуму для добраахвотнікаў і параўнала сярэднія вынікі з вынікамі двух тыпаў вялікіх лінгвістычных мадэляў (LLM), піша techinsider.

За апошнія некалькі гадоў LLM, такія як ChatGPT, заваявалі ўсеагульную цікавасць. Хутка раслі іх магчымасці. Адной з новых магчымасцяў стала ўменне вызначаць настрой або псіхічны стан чалавека-карыстальніка.

У новым даследаванні навукоўцы задаліся пытаннем, ці прасунуліся здольнасці LLM да такой ступені, што яны могуць выконваць тэсты на тэорыю розуму нароўні з людзьмі.

Тэсты на тэорыю розуму былі параўнальна даўно распрацаваныя псіхолагамі для адзнакі псіхічнага і/ці эмацыйнага стану чалавека падчас сацыяльных узаемадзеянняў. Людзі выкарыстоўваюць розныя невербальныя сігналы, каб сігналізаваць аб сваім псіхічным стане іншым. І іншыя цудоўна ўлоўліваюць такія сігналы. Згодна з даследаваннямі нейрабіёлагаў тут важна, што чалавек здольны паставіць сябе на месца іншага і адчуць тое, што іншы адчувае. Такі тэст, як правіла, не праходзяць маленькія дзеці, пацыенты з аўтыстычным разладам і жывёлы.

Многія спецыялісты ўважаюць, што кампутар ніколі не пройдзе такое выпрабаванне – ён жа пазбаўлены спагады.

Даследчая група пратэставала некалькі LLM, каб убачыць, наколькі добра яны пройдуць тэсты на тэорыю розуму ў параўнанні з групай людзей, якія праходзяць тыя ж тэсты.

Даследнікі прааналізавалі звесткі 1907 добраахвотнікаў, якія прайшлі стандартныя тэсты тэорыі розуму, і параўналі іх вынікі з вынікамі вялікіх лінгвістычных мадэляў, у тым ліку Llama 2-70b і GPT-4.

Абедзве групы адказалі на пяць тыпаў пытанняў, кожны з якіх прызначаны для ацэнкі такіх момантаў, як выпадковая памылка, іронія ці праўдзівасць сцвярджэння. Кожнага таксама папрасілі адказаць на пытанні пра «ілжывыя перакананні» (да іх належаць, напрыклад, розныя канспіралагічныя тэорыі – «нас усіх замбіруюць», «намі ўсімі кіруе сусветная закуліса» і г.д.).

Даследнікі выявілі, што LLM спраўляліся з пытаннямі як правіла не горш за людзей, а часам і лепш. Самыя лепшыя вынікі па ўсіх тыпах пытанняў паказаў GPT-4, Llama-2 былі ў сярэднім слабейшыя, чым у людзей.

Са слоў даследнікаў, эксперымент паказвае, што LLM цяпер здольныя выконваць тэарэтычныя тэсты тэорыі розуму з вынікамі параўнальнымі з чалавекам, хоць навукоўцы і не сцвярджаюць, што LLM гэткія ж разумныя як людзі ці валодаюць той жа ступенню спагады.