Инструмент за откриване с изкуствен интелект, разработен от Pangram labs, установи, че рецензентите все по-често използват чатботове, за да изготвят отговори на авторите.
Какво могат да направят изследователите, ако заподозрат, че ръкописите им са били рецензирани с помощта на изкуствен интелект (ИИ)? Десетки учени сигнализират за халюцинирани цитати и подозрително дълги и неясни отзиви относно доклади и рецензии, представени на организаторите на Международната конференция за представяне на обучението (ICLR), годишна среща на специалисти по машинно обучение.
Един от недоволните, Греъм Нойбиг (Graham Neubig), изследовател на изкуствен интелект в университета Карнеги Мелън в Питсбърг, Пенсилвания, казва, че е получил експертни рецензии, които изглежда са изготвени с помощта на Large Language Model (LLM) - "много подробни с много точки", изискващи анализи, които не са били "стандартните статистически анализи, които рецензентите изискват в типичните статии за изкуствен интелект или машинно обучение".
Но за да докаже подозренията си Нойбиг предлага награда за всеки, който може да сканира всички материали от конференцията и техните експертни рецензии дали са текстове, генерирани от изкуствен интелект.
На следващия ден той получава отговор от Макс Сперо (Max Spero), главен изпълнителен директор на Pangram Labs в Ню Йорк, която разработва инструменти за откриване на текстове, генерирани от изкуствен интелект. Pangram проверява всички 19 490 проучвания и 75 800 експертни рецензии, представени за конференцията ICLR 2026, която ще се проведе в Рио де Жанейро, Бразилия, през април, на която ще присъстват Нойбиг и повече от 11 000 други изследователи на изкуствен интелект.
Анализът на Pangram разкрива, че около 21% от експертните оценки на ICLR са били изцяло генерирани от изкуствен интелект и повече от половината са съдържали признаци на използване на изкуствен интелект. Констатациите са публикувани онлайн от Pangram Labs.
"Хората подозираха, но нямаха никакви конкретни доказателства", коментира Сперо. "В течение на 12 часа написахме код, за да анализираме цялото текстово съдържание на представените документи".
Организаторите на конференцията съобщават, че вече ще използват автоматизирани инструменти, за да оценят дали представените материали и експертните оценки са нарушили правилата за използване на изкуствен интелект в тях. За първи път конференцията се сблъсква с този проблем в такъв мащаб, отбелязва Бхарат Харихаран (Bharath Hariharan), компютърен учен в университета Корнел в Итака, Ню Йорк, и старши програмен председател на ICLR 2026.
Рецензия, написана от изкуствен интелект
Екипът на Pangram използва един от собствените си инструменти, който предсказва дали текстът е генериран или редактиран от LLM. Анализът на Pangram открои 15 899 експертни рецензии, които са били изцяло генерирани от изкуствен интелект. Но той също така идентифицира много ръкописи, представени на конференцията, с предполагаеми случаи на текст, генериран от изкуствен интелект: 199 ръкописа (1%) са установени като изцяло генерирани от изкуствен интелект; 61% от представените материали са били предимно написани от хора; но 9% съдържат повече от 50% текст, генериран от изкуствен интелект.
Pangram описва своя модел в портала за препринти arXiv.
Анализът на Pangram потвърждава подозренията на много изследователи, получили експертни рецензии за своите публикации в ICLR.
Дезмънд Елиът, компютърен учен в Университета в Копенхаген, коментира, че една от трите рецензии, които е получил, сякаш е пропуснала "същината на статията". Неговият докторант, който е ръководил работата, е заподозрял, че рецензията е генерирана от LLM, тъй като е споменавала числени резултати от доклада им, които са неправилни и съдържат странни изрази.
Когато Pangram публикува своите открития, Елиът добавя, "първото нещо, което направих, бе да напиша заглавието на нашата статия, защото исках да знам дали интуицията на моя студент е правилна". Подозрителната рецензия, която анализът на Pangram маркира като изцяло генерирана от изкуствен интелект, дава на ръкописа най-ниската оценка, оставяйки го "на границата между приемане и отхвърляне", разказва Елиът. "Това е изключително разочароващо".
Последици
Екипът на ICLR 2026 разрешава на авторите и рецензентите да използват инструменти с изкуствен интелект за изглаждане на текста, генериране на експериментални кодове или анализ на резултати, но задължава да се оповестяват такива намеси. Той също така забранява използването на изкуствен интелект, което би нарушило поверителността на ръкописите или би довело до фалшифициране на съдържанието.
Справка: Thai, K., Emi, B., Masrour, E. & Iyyer, M. Preprint at arXiv https://doi.org/10.48550/arXiv.2510.03154 (2025).
Източник: Major AI conference flooded with peer reviews written fully by AI, Nature
Още по темата
Технологии
"AI индустрията е балон", предупреждава съоснователят на Google DeepMind
Технологии
Фалшиви лица, генерирани от AI? 5 мин тренировка и ще можете да ги разпознавате
Човекът
Мащабно проучване открива следи от изкуствен интелект в милиони научни статии
Коментари
Моля, регистрирайте се от TУК!
Ако вече имате регистрация, натиснете ТУК!
Няма коментари към тази новина !
Последни коментари
"Ад" на Данте описва удар на астероид 500 години преди съвременната наука
10-годишно момиче открива рядък мексикански аксолотъл. Какво знаем за тези животни
Хората с тъмни черти на характера са естествено склонни към лидерски роли, установява ново проучване
Хората с тъмни черти на характера са естествено склонни към лидерски роли, установява ново проучване