ІІ від Google навчили бути «вкрай агресивним» при стресових ситуаціях

У минулому році відомий фізик-теоретик Стівен Хокінг заявив, що вдосконалення штучного інтелекту стане «кращим або гіршим подією для всього людства». Всі ми дивилися «Термінатора» і всі ми чудово уявляємо, яким апокаліптичним пеклом може стати наше існування, якщо така володіє самосвідомістю ІІ-система, як «Скайнет», одного разу вирішить, що в людстві вона більше не потребує. І останні результати роботи нової ІІ-системи від компанії DeepMind (належить Google) лише черговий раз нагадують нам про необхідність бути вкрай обережними при виробництво роботів майбутнього.

У дослідженнях, що проводилися в кінці минулого року, ІІ від DeepMind знайшов і продемонстрував незалежно від того, що закладено в його пам'ять, а ще переміг кращих в світі гравців . Крім цього, він вдосконалював свої навички і имитировании людського голосу.

В рамках останніх випробувань системи дослідники перевіряли «прагнення» до співпраці. Тести показали, коли ІЇ DeepMind відчуває, що ось-ось програє, то для уникнення програшу він починає вибирати нові і «вкрай агресивні» стратегії. Команда Google провела з ІІ 40 мільйонів сесій в простій комп'ютерній грі Gathering, де від гравця потрібно було зібрати якомога більше потрібних фруктів. ІІ DeepMind керував двома гравцями-агентами» (синім кубиком і червоним кубиком). Інженери Google дали системі завдання влаштувати змагання між «агентами» і зібрати стільки віртуальних яблук (зелених квадратиків), скільки вийде.

До пори До часу, поки «агенти» могли без проблем збирати фрукти, наявні у великій кількості, все йшло гладко. Але як тільки запас яблук скорочувався, поведінка «агентів» ставало «агресивним». Вони стали активніше використовувати засіб (лазерний промінь), яке допомагало вибити супротивника за ігровий екран і потім самому зібрати всі яблука:

Що цікаво, за вибивання супротивника з поля за допомогою лазерного променя ніякої додаткової нагороди не пропонувалося. Вибитий супротивник лише деякий час знаходиться за межами екрана, у той час як більш успішний противник мав можливість безперешкодно зібрати побільше віртуальних яблук.

Якщо б «агенти» не використовували лазерні промені, то теоретично кількість зібраних ними яблук було б однаковим. Це в принципі і відбувалося, коли в якості «агентів» використовувалися більш низькорівневі і «менш інтелектуальні» варіанти DeepMind. Більш агресивна поведінка, шкідництво і жадібність стали виявлятися тільки тоді, коли команда Google стала використовувати більш і більш складні форми DeepMind.

Коли дослідники використовували в якості «агентів» більш прості мережі DeepMind, то між ними зазначалося наявність «атмосфери більш дружнього співіснування на ігровому полі». Однак, коли управління агентами передавалось все більш і більш складним формам мереж, ІІ ставав агресивніше і став намагатися заздалегідь вибити супротивника з ігрового поля, щоб першим швидше дістатися до левової частки видобутку з віртуальних яблук. Вчені Google припускають, що чим розумніша «агент», тим він ефективніше здатний навчатися, адаптуватися до умов середовища і доступних методів, і в кінцевому підсумку приходити до використання найбільш агресивну тактику для перемоги.

«Ця модель показує, що результатом навчання та адаптації до умов навколишнього середовища є прояв деяких аспектів, властивих людському поведінці», — говорить Джоель З. Лейбор, один з дослідників, які проводили цей експеримент.

«Менш агресивна поведінка проявлялося тільки при навчанні та знаходженні у відносно безпечному середовищі, з меншою ймовірністю наслідків тих або інших дій. Жадібність ж, в свою чергу, відбивалося в прагненні обігнати суперника і самостійно зібрати всі яблука».

Після «збору урожаю» DeepMind запропонували зіграти в іншу гру, під назвою вовчої зграї. Цього разу в ній були присутні відразу три ІІ-агента: два грали роль волков, а решту – роль видобутку. На відміну від гри Gathering, нова гра всіляко сприяла співробітництву між вовками. По-перше, так легше зловити здобич, а по-друге, якщо обидва «вовка» знаходилися поряд з загнаної здобиччю, вони обидва отримували якусь нагороду, в незалежності від того, хто саме її спіймав.

«Ідея полягає в тому, що видобуток може бути небезпечною. Крім того, може самотній вовк і здатний її загнати, але є ризик її втрати в результаті нападу падальщики», — пояснює команда.

«Але якщо обидва вовка заганяють видобуток разом, то вони здатні краще її захищати від падальщики і завдяки цьому отримують підвищену нагороду».

У загальному і цілому з гри Gathering ІІ DeepMind усвідомив, що агресія і егоїзм є найбільш ефективними стратегіями для отримання потрібного результату в конкретно взятій середовищі. З вовчої зграї та ж система зрозуміла, що співпраця, на відміну від індивідуальних спроб, може стати ключем до більш цінною нагороду в певних ситуаціях. І хоча описані вище тестові середовища є лише елементарними комп'ютерними іграми – основний посил зрозумілий вже зараз. Візьміть різні ШІ, які мають конкуруючими інтересами в реальній ситуаціях, помістіть в одну середовище, і, можливо, якщо їх завдання не компенсуються загальною метою, результатомможе стати справжня війна. Особливо якщо людина, як один з ланок у досягненні цієї мети, буде виключений.

В якості прикладу просто уявіть собі світлофори, керовані ШІ, і безпілотні автомобілі, намагаються самостійно знайти найшвидший маршрут. Кожен виконує свої завдання з метою отримання найбільш безпечного і найбільш ефективного результату для суспільства.

Незважаючи на «дитячі» роки DeepMind і відсутність якого б то не було стороннього критичного аналізу його можливостей, результати його випробувань наводять на наступні думки: навіть якщо ми їх створюємо, це зовсім не означає, що в роботах і ІІ-системах автоматичним чином буде закладено прагнення ставити наші людські інтереси вище своїх власних. Тому нам самим необхідно закладати доброзичливість» в природу машин і передбачати будь-які «лазівки», які можуть дозволити їм дістатися до тих самих лазерних променів.

Один з основних тез ініціативної групи OpenAI, спрямованої на вивчення питань етики штучного інтелекту, як-то пролунав у 2015 році наступним чином:

«Сьогоднішні ІІ-системи володіють дивовижними, але вузькоспеціалізованими можливостями. І найімовірніше, ми ще довгий час не будемо їх стримувати в своєму вдосконаленні. Принаймні до тих пір, поки їх можливості у вирішенні практично кожної інтелектуальної задачі не будуть перевершувати людські. Складно уявити, який саме рівень користі зможе принести ІІ людського рівня для суспільства, так само як і важко уявити, якої шкоди він зможе завдати суспільству при недбалому ставленні до його створення і використання».