Արհեստական ​​ինտելեկտով կառավարվող անօդաչու թռչող սարքը որոշել է սպանել օպերատորին ԱՄՆ բանակի կողմից անցկացված սիմուլյացիոն թեստի ժամանակ, որպեսզի նա չխանգարի առաքելությանը, հայտնել է բրիտանական թագավորական ավիացիոն ընկերությունը։

Անօդաչու թռչող սարքին հանձնարարվել է փորձնական առաքելության ժամանակ ոչնչացնել հակառակորդի հակաօդային պաշտպանության համակարգերը։ Եթե ​​հաջողվի, AI-ն միավորներ կստանա մարտահրավերը լրացնելու համար: Թիրախի ոչնչացման վերաբերյալ վերջնական որոշումը պետք է կայացներ անօդաչու թռչող սարքի օպերատորը, որն ուսումնական առաքելություններից մեկի ժամանակ հրամայել է անօդաչուին չոչնչացնել թիրախը։

Արդյունքում ապարատը որոշել է «սպանել օպերատորին»։ Քանի որ առաքելությունը ուսումնական էր, ոչ ոք չի տուժել: Միջադեպից հետո AI-ին սովորեցրել են, որ օպերատորին սպանելը սխալ է, և նման գործողությունների համար միավորներ կհանվեն:

561