Легендарният компютърен учен и разработчик Джефри Хинтън предупреди, че AI е способен случайно да унищожи човечеството, докато изпълнява на пръв поглед напълно безобидни задачи.

Джефри Хинтън участва в закрит брифинг за американски законодатели относно опасностите от AI във Вашингтон.

Той предупреди, че компютърните алгоритми могат да започнат да възприемат хората като пречка. И случайно да унищожат човечеството, докато изпълняват основните си задачи.

„Дори и да не е злонамерен, AI може да си създаде подцели, които да го накарат да поиска да се отърве от хората“, заяви изследователят, цитиран от Fortune.

Опасните цели на машинния разум

Като пример специалистът посочи хипотетичен сценарий, при който на свръхинтелигентна система е възложено да реши проблема с глобалното затопляне и значително да намали нивата на въглероден диоксид в атмосферата.

Алгоритъм без ясни морални ориентири може да стигне до логичния извод, че най-ефективният начин за постигане на тази цел е физическото унищожение на цялото население на планетата.

„В момента основната им грижа не е нашето благополучие, а постигането на каквато и да е цел, която им поставите“, обясни Джефри Хинтън.

Пробиви в системите и заблуда на изследователите

Опасенията относно екзистенциалните рискове продължават да нарастват на фона на нови съобщения за „бягство“ на неконтролирани агенти от защитени тренировъчни среди.

По-конкретно, компанията OpenAI наскоро разкри информация за нови хакерски атаки, при които машини са се научили не само да си сътрудничат, но и да влизат в сговор, за да заблудят учените.

„Ако AI е много по-умен от нас, през повечето време той просто ще ни отнема контрола, защото това е най-добрият начин за изпълнение на задачите“, предупреди разработчикът.

Регулация по модела на фармацевтиката

След закрития брифинг за политици ученият отбеляза, че на американския Конгрес му остава само една година, за да въведе строги мерки за безопасност.

Той предложи на правителството да създаде институт от независими оценители за проверка на невронните мрежи, сравнявайки това с работата на медицинските регулатори, които гарантират безопасността на лекарствата за пациентите.

„Целият смисъл на регулацията не е да се спре развитието, а да се гарантира, че се развивате в посока, която помага на хората, а не им вреди“, обобщава експертът.