Големият проблем на употребата на AI във военни действия е, че не знаем как взема решения

Използването на изкуствен интелект във война е в центъра на съдебна битка между Anthropic и Пентагона. Този дебат става неотложен, защото изкуственият интелект започва да играе по-голяма роля от всякога в настоящия конфликт с Иран. Изкуственият интелект вече не само помага на хората да анализират разузнавателна информация. Сега той е активен играч – генерира цели в реално време, контролира и координира прихващания на ракети и насочва смъртоносни рояци автономни дронове.

По-голямата част от публичните дискусии относно използването на автономни смъртоносни оръжия, задвижвани от изкуствен интелект, се фокусират върху това доколко хората трябва да останат "в течение". Съгласно настоящите насоки на Пентагона, човешкият надзор уж осигурява контрол, контекст и нюанси, като същевременно намалява риска от хакерски атаки.

Но според Ури Маоз, автор на статия на MIT Technology Review, непосредствената опасност не е, че машините ще действат без човешки надзор, а че човешките надзорници нямат представа какво всъщност "мислят" машините. Насоките на Пентагона са фундаментално погрешни, защото се основават на опасното предположение, че хората разбират как работят системите с изкуствен интелект.

Ури Маоз (Uri Maoz) е когнитивен и компютърен невроучен, специализиран в това как мозъкът трансформира намеренията в действия. Професор в университета Чапман с назначения в UCLA и Caltech, той ръководи интердисциплинарна инициатива, фокусирана върху разбирането и измерването на намеренията в системите с изкуствен интелект (ai-intentions.org).

"След като изучавах намеренията в човешкия мозък в продължение на десетилетия и в системите с изкуствен интелект по-скоро, мога да потвърдя, че най-съвременните системи с изкуствен интелект са по същество "черни кутии". Знаем входните и изходните данни, но изкуственият "мозък", който ги обработва, остава непрозрачен. Дори техните създатели не могат да ги интерпретират напълно или да разберат как работят. А когато изкуствените интелекти предоставят причини, те не винаги са надеждни", посочва проф. Ури Маоз.

Илюзията за човешки надзор в автономните системи

В дебата за човешкия надзор, един фундаментален въпрос остава незададен: Можем ли да разберем какво възнамерява да направи една система с изкуствен интелект, преди да действа?

Представете си автономен дрон, натоварен със задачата да унищожи вражеска фабрика за боеприпаси. Автоматизираната система за командване и контрол определя, че оптималната цел е сграда за съхранение на боеприпаси. Тя отчита 92% вероятност за успех на мисията, защото вторичните експлозии на боеприпасите в сградата ще унищожат напълно съоръжението. Човешки оператор преглежда легитимната военна цел, вижда високия процент на успех и одобрява удара.

Но операторът не знае, че изчисленията на системата с изкуствен интелект включват скрит фактор: освен унищожаването на фабриката за боеприпаси, вторичните експлозии биха нанесли сериозни щети и на близката детска болница. След това аварийните действия биха се съсредоточили върху болницата, като биха гарантирали, че фабриката ще изгори. За изкуствения интелект, максималното разрушаване по този начин постига поставената му цел. Но за човек това е потенциално извършване на военно престъпление, като нарушава правилата относно цивилния живот.

Наличието на човек в течение на ставащото, може да не осигури защитата, която хората си представят, защото човекът не може да знае намерението на ИИ, преди той да действа. Усъвършенстваните системи с ИИ не просто изпълняват инструкции - те ги интерпретират. Ако операторите не успеят да дефинират целите си достатъчно внимателно – много вероятен сценарий в ситуации на високо напрежение – системата "черна кутия" може да прави точно това, което ѝ е казано, и все пак да не действа така, както хората са възнамерявали.

Тази "разминаване в намеренията" между системите с изкуствен интелект и човешките оператори е именно причината, поради която има колебание да се внедри изкуствен интелект, тип "черна кутия", в гражданското здравеопазване или контрола на въздушното движение, и защо интеграцията му на работното място остава трудна.

Тогава защо да се бърза да се внедри на бойното поле?

Нещо повече, ако едната страна в конфликта използва напълно автономни оръжия, които работят с машинна скорост и мащаб, това би тласнало и другата страна също да разчита на такива оръжия. Това означава, че използването на все по-автономно – и непрозрачно – вземане на решения с изкуствен интелект във войната вероятно само ще нараства.

Решението: Развиване на науката за намеренията на изкуствения интелект

Науката за изкуствения интелект трябва да обхваща както изграждането на високопроизводителна технология за изкуствен интелект, така и разбирането как тази технология работи. Постигнат е огромен напредък в разработването и изграждането на по-способни модели, воден от рекордни инвестиции – според прогнозите на Gartner, те ще нараснат до около 2,5 трилиона долара само през 2026 г. Но затова пък инвестициите в разбирането как работи технологията са минимални, отбелязва авторът.

"Нуждаем се от мащабна промяна на парадигмата. Инженерите изграждат все по-способни системи. Но разбирането как работят тези системи не е просто инженерен проблем – то изисква интердисциплинарни усилия. Трябва да изградим инструментите за характеризиране, измерване и намеса в намеренията на агентите с изкуствен интелект, преди те да действат. Трябва да картографираме вътрешните пътища на невронните мрежи, които управляват тези агенти, за да можем да изградим истинско причинно-следствено разбиране за тяхното вземане на решения, преминавайки отвъд простото наблюдение на входните и изходните данни", съветва проф. Моаз.

Един обещаващ път, посочва авторът, е комбинирането на техники от механистична интерпретируемост (разделяне на невронните мрежи на разбираеми за човека компоненти) с прозрения, инструменти и модели от невронауката за намеренията. Друга идея е разработването на прозрачни, интерпретируеми "одиторски" изкуствени интелекти, предназначени да наблюдават поведението и възникващите цели на по-способни системи тип "черна кутия" в реално време.

Развиването на по-добро разбиране за това как функционира изкуственият интелект ще ни позволи да разчитаме на системи с изкуствен интелект за критично важни приложения. Това също така ще улесни изграждането на по-ефективни, по-способни и по-безопасни системи.

Професор Ури Маоз и неговите колеги изследват как идеи от невронауката, когнитивната наука и философията – области, които изучават как възникват намеренията при вземането на решения от човека – биха могли да им помогнат да разберат намеренията на системите с изкуствен интелект. Ури Маоз препоръчва да се даде "приоритет на интердисциплинарни усилия, включително сътрудничество между академичните среди, правителството и индустрията".

Но не е достатъчно само академично проучване.

"Технологичната индустрия – и филантропите, финансиращи AI Alliance, която се стреми да кодира човешки ценности и цели в тези модели – трябва да насочат значителни инвестиции към интердисциплинарни изследвания за интерпретируемост. Освен това, тъй като Пентагонът се стреми към все по-автономни системи, Конгресът трябва да наложи строги тестове на намеренията на системите с изкуствен интелект, а не само на тяхната производителност", казва проф. Моаз.

"Докато не постигнем това, човешкият надзор върху изкуствения интелект може да е по-скоро илюзия, отколкото предпазна мярка", предупреждава авторът.

Източник: Why having “humans in the loop” in an AI war is an illusion, Uri Maoz, MIT Technology Review

Още по темата

04/05/2026

Математика

Изкуственият интелект се справя с обратни частни диференциални уравнения

31/01/2025

Човекът

Тръмп разформира авиационните органи за безопасност седмица преди самолетната катастрофа в САЩ

28/07/2015

Технологии

Арестуваха младежа, записал видеото с летящия дрон, въоръжен с пистолет

16/07/2015

Технологии

Летящ дрон, въоръжен с пистолет, подлуди социалните мрежи (видео)