인공지능은 의도치 않게 인류를 파괴할 수 있다

2019년 11월 3일

사진 출처,GETTY IMAGES

스티븐 호킹부터 엘론 머스크까지 인공지능(AI)에 관한 세계 최고의 지성들은 AI가 인류에 실존적 위협을 제기한다고 우려한다.

하지만 최근에 나온 한 책은 우리가 두려워해야 할 것이 자각을 하고 인간 주인에게 반기를 드는 로봇이 아니라고 말한다. 우리가 만든 목표를 너무 능숙하게 처리해서, 무심코 잘못된 목표를 주었을 때 인류를 말살시킬 수 있는 기계다.

버클리 대학의 스튜어트 러셀 교수가 쓴 책, "양립할 수 있는 인간: AI와 통제의 문제(Human Compatible: AI and the Problem of Control)"에 나온 이야기다. 러셀 교수는 머신러닝으로 인한 변화를 연구하는 전문가다.

그는 BBC와의 인터뷰에서 "'할리우드 밈(The Hollywood meme)이라는 책에서는 항상 기계가 자연스레 의식을 갖게 되고, 인간이 싫다는 판단을 내려 인류를 죽이려고 한다"고 말했다.

하지만 로봇은 감정이 없으므로 "그것은 전혀 걱정할 일이 아니다"고 했다.

"우리가 걱정해야 할 것은 로봇이 가지는 사악한 의식이 아닙니다. 능력입니다. 우리가 잘못 지정한 목표도 아주 훌륭하게 수행해내는 그 능력이죠."

'너무나도 유능한'

사진 출처,GETTY IMAGES

러셀 교수는 'BBC 투데이(BBC's Today)' 프로그램에서 AI가 제기할 수 있는 진짜 위협에 대한 가상의 예를 들었다.

지구의 기후를 조절할 수 있는 강력한 AI 시스템을 갖고 있다고 상상해 보자. 그리고 우리는 이산화탄소 수치를 산업화 이전으로 되돌리기 위해 이 시스템을 사용하려 한다.

"그리고 이렇게 말하겠죠. '인류를 해치는 것 빼고 하고 싶은 것을 다 해보라.' 그럼 시스템은 무엇을 할까요? 인류가 남아나지 않을 때까지 아이를 적게 낳도록 인류를 설득할 겁니다."

이 예는 AI가 인간이 미처 모든 걸 다 고려하지 못한 지시에 따라 행동할 때 벌어질 수 있는 위험을 강조한 것이다.

슈퍼 지능

영국 케임브리지대학 산하 실존적위험연구센터(CSER·Centre for the Study of Existential Risk)에 따르면, 현재 AI 시스템 대부분은 한 영역 안에서 지정된 문제를 해결하는데 특화되어 있다.

이 분야의 획기적인 순간은 1997년이었다.

컴퓨터 '딥 블루(Deep Blue)'가 체스 세계 챔피언 가리 카스파로프를 6번의 대국에서 물리쳤다.

사진 출처,GETTY IMAGES

사진 설명,

컴퓨터 '딥 블루(Deep Blue)'가 체스 챔피언 가리 카스파로프를 이기는 장면

하지만 이 위업에도 불구하고, 딥 블루는 체스를 두기 위해 만들어졌다. 단순한 체커 게임에서는 인간에게 패배할 것이다.

하지만 이후에 발전된 AI는 다르다. 예를 들어 알파고 제로(AlphaGo Zero)는 자신을 상대로 바둑을 둔지 겨우 3일만에 초인적인 수준에 도달했다.

알파고 제로는 인공 신경망을 이용한 머신러닝인 '딥 러닝'을 사용했다. 인간의 프로그래밍이 덜 필요했고, 바둑과 체스, 쇼기에 대단히 능숙한 면모를 보였다.

놀랍게도, 알파고 제로는 거의 완전히 독학으로 이를 이뤄낸 것이다.

실존적위험연구센터는 "AI 시스템이 점점 더 강력해지고 더 보편화되면서, 많은 또는 거의 모든 영역에서 인간의 성취보다 더 우수한 슈퍼 지능이 될 수 있다"고 말했다.

러셀 교수는 이것이 다시 통제력을 되찾아야 하는 이유라고 했다.

'우리는 우리가 무엇을 원하는지 모른다'

사진 출처,GETTY IMAGES

사진 설명,

러셀 교수는 AI가 인간이 미처 모든 걸 다 고려하지 못한 지시에 따라 행동할 때 벌어질 수 있는 위험을 강조했다

그는 인공지능에게 보다 정확한 목표를 주는 게 이 딜레마의 해결책이 아니라고 주장한다. 인류 스스로 그 목표를 확신하지 못하기 때문이다.

그는 "어떤 일이 벌어지기 전까지 우리는 그것을 좋아하지 않는다는 것을 알지 못한다"며 "AI

시스템을 구축하는 전체 기반을 바꿔야 한다"고 했다. 우리가 로봇에게 고정된 목표를 지정해주고, 로봇들이 이를 수행하는 것에서 벗어나야 한다는 것이다.

"시스템이 목표를 모른다는 것을 인식시켜야 합니다. 이런 식으로 작동하는 시스템을 갖추게 되면, 인류를 따르게 되죠. AI가 일을 하기 전에 허락을 받기 시작할 겁니다. 로봇은 우리가 원하는 것인지 아닌지 스스로 확신하지 못하기 때문이죠."

러셀 교수는 결정적으로 로봇들이 "우리가 꺼리는 일을 하지 않으려 하기 때문에 기꺼이 스스로 전원을 끌 것"이라고 덧붙였다.

램프의 요정, 지니

러셀 교수는 "우리가 AI를 만드는 방식은 어쩌면 램프의 요정 지니와 비슷하다"며 "램프를 문질러 지니가 나오면, '이게 생겼으면 좋겠어'라고 말한다"고 했다.

"만약 AI 시스템이 충분히 강력하다면, 우리가 원하는 것을 정확히 해내고 우리는 원하는 것을 정확히 얻을 겁니다. 그런데 램프의 요정에 나오는 문제점은 세번째 소원이 항상 '앞선 두 개의 소원을 취소해줘, 목표를 잘못 정했어'라는 겁니다."

"옳지 않은 목표를 추구하는 기계는 사실상 인류의 적이 됩니다. 그리고 그 적은 우리보다 훨씬 더 강력합니다."