Пентагон визнав: надмірна довіра до ШІ спричинила удар по школі в Ірані

Пентагон офіційно визнав, що надмірна довіра до системи штучного інтелекту стала одним із чинників удару, який влучив у школу в Ірані. Формулювання звучить сухо — "overreliance on AI contributed" — але за ним стоїть базова істина сучасної війни: людина натиснула кнопку, бо алгоритм сказав, що ціль правильна, і людина не стала сперечатися.

Це і є те, що військові аналітики називають automation bias — схильність людини приймати рішення машини як за замовчуванням вірне. Не тому, що оператор дурний чи недбалий. А тому, що система працює швидко, впевнено, без вагань, і сотні попередніх разів вона не помилялася. На сто першому разі помилку помітити майже нема кому.

Як це працює на цілевказанні

Механізм простий на вигляд. Розвідувальна платформа збирає потоки даних — супутникові знімки, перехоплення сигналів, дані з дронів. Алгоритм зіставляє їх, визначає патерн, який відповідає "вантажівці з боєприпасами" чи "командному пункту", і видає координати з відсотком упевненості. Оператор бачить не сирі дані, а вже готовий висновок: ось ціль, ось 94% ймовірності.

Проблема в тому, що 94% — це не факт про світ. Це факт про модель. Система впевнена рівно настільки, наскільки її навчили дані, які могли не містити школи, перебудованої під склад, або складу, перебудованого назад під школу. Машина не сумнівається — вона рахує. Сумніватися мала людина, але людині дали готову відповідь і десять секунд на її оскарження.

Що з цим в Україні

Українські сили давно використовують програмні системи для розвідки й цілерозподілу — агрегація даних із дронів, артилерійської розвідки й відкритих джерел у єдину картину. Це раціонально: коли ціль живе хвилини, ручна обробка не встигає. Але саме тому іранський випадок стосується нас прямо, а не як далека новина.

Головний запобіжник проти automation bias — процедурний, а не технічний. Він називається human-in-the-loop і працює лише тоді, коли людина реально має право й час сказати "ні". Якщо оператор фізично не встигає перевірити рекомендацію, петля розімкнена, хоч би скільки регламентів це заперечували. Другий запобіжник — вимога незалежного підтвердження цілі з іншого джерела перед ударом по об'єкту в цивільній зоні. Третій — фіксація того, які саме дані бачив оператор у момент рішення, щоб потім можна було відрізнити помилку людини від помилки моделі.

Як читати заяви про "помилку ШІ"

Коли у воєнному зведенні звучить "збій алгоритму" чи "хибне спрацювання системи", це не пояснення, а часто спосіб уникнути відповідальності. Кілька практичних питань, які варто ставити:

• Хто ухвалив фінальне рішення про удар — система чи людина? ШІ на цілевказанні майже завжди дає рекомендацію, а не команду. Формулювання "алгоритм ударив" зазвичай приховує людину, яка підтвердила.
• Скільки часу мав оператор на перевірку? Якщо секунди — це проблема процедури, а не коду.
• Чи було незалежне підтвердження цілі? Одне джерело даних — одна точка відмови.
• Хто розслідує і чи має він доступ до логів системи? Без логів будь-яка версія недоказова.

Пентагон визнав провину алгоритму — але алгоритм не постає перед трибуналом. Відповідальність за смерть у школі несе ланцюг людей, які вирішили довіряти цифрі 94% більше, ніж власним очам. Технологія не знімає цієї відповідальності, вона лише робить її легшою для розмивання. Наше завдання — не давати її розмити.