슈퍼인텔리젼스(닉 보스트롬 지음)

이 책은 지능 대확산의 동력학과 초지능의 형태와 능력 그리고 초지능적 에이젼트가 확실한 우위를 차지하게될 시점에 취할 수 있는 전략을 보여준다.

급변의 상황에서 우리에게 치명적이지 않고 유익한 결과를 가져오게 할 수 있는 초기 조건들과 달성을 위한 여러가지 아이디어들이 보여준다.

초지능 시대가 당면하는 철학적인 문제는 우리 인류가 추구해야할 공동 번영의 논제와도 일치하는 느낌이다.

기술의 확산이 모두가 잘 사는 세상을 의미하지는 않는다.

기계의 비용이 인간의 수고 비용을 넘어서는 순간, 인간은 대량 실업에 노출될 것이 분명하다.

그리고 그 기계를 운영하는 소수에게 부는 더욱 편중되는 현상을 가져올 것이다.

이를 극복하기 위해서는 초지능의 시대에 인간들 모두에게 혜택이 돌아가는 방법을 강구할 필요가 있다.

대부분의 인공지능 분야의 선구자들은 자신들의 일이 이험한 결과를 초래할 수도 있다는 사실도 인식하지 않았다.

그들은 인공 지성체를 창조하는 것의 위험성이나 컴퓨터의 지배 가능성에 대한 안전성을 전혀 고려하지 않았으며,

윤리적으로 심각한 가책을 느끼는 것은 고사하고 일언반구도 하지 않았다.

과연 우리는 인간의 지능을 만든 진화적 과정을 구현할 수 있을 만큼의 연산능력을 조만간 개발할 수 있을까?

또 앞으로 10년간 연산기술이 얼마나 발달할 것인지, 그리고 진화의 과정인 자연선택이 보여준 최적화 능력정도로 유전자 알고리즘을 실행하기 위해서는

어느 정도의 연산능력이 필요할지에 따라서 이 질문에 대한 답은 달라질 것이다.

튜링이 구상한 어린이 기계 개념의 변형으로 "씨앗 인공지능"이 있다.

튜링의 어린이 기계가 비교적 고정된 구성을 유지하며 단지 학습을 통해서 정보를 축적하여 그것에 내재된 잠재성을 개발시키는 것이라면,

씨앗 인공지능은 자신의 구조를 스스로 향상시킬 수 있는 보다 정교한 인공지능일 것이다.

지능 대확산이란 한 시스템의 지능 수준이 짧은 기간 동안 비교적 평이한 수준의 인지능력에서 급진적인 초지능 단계에 이르는 사건을 말한다.

인공 지능이 지향하는 목표 시스템은 인간의 목표 시스템과 아주 큰 차이가 있을 수도 있다.

인공 일반 지능이 얼마나 증오, 또는 자존심 같은 인간의 감정을 행동의 동기로 삼으라는 법은 없다.

오히려 이러한 복잡한 감정을 인공지능에 적용하기 위해서는 신중하고 비용이 많이 드는 노력이 필요할 것이다.

전뇌 에뮬레이션(또는 업로딩")방식은 생물학적 뇌의 연산구조를 정밀하게 관찰하고, 이를 모형화함으로써 지능적 소프트웨어를 만드는 것이다.

따라서 이 방식은 자연으로부터 영감을 얻는 정도가 아니라 완전한 표절에 가까울 것이다. 전뇌 에뮬레이션은 다음과 같은 방식으로 수행된다,

첫 번째로, 어느 특정 인간의 뇌를 충분히 스캔해야 한다.

두 번째로, 정밀 스캔한 자료를 컴퓨터의 자동 이미지 처리 장치에 퉁입하여 우리의 뇌에서 인지를 담당하는 뉴런 네트워크를 삼차원적 이미지로 재구성한다.

세 번째로, 앞의 과정에서 얻은 신경연산 구조 자료를 충분히 처리 가능한 강력한 성능의 컴퓨터로 실행한다.

존재적 위험이란 지구로부터 기원한 지적 생명체를 멸종시키거나 그런 지적 생명체의 바람직한 미래의 발달을 영구적이고도 철저하게 파괴하는 위험을 말한다.

첫 번째 초지능 도달자가 가지는 이점, 직교성 명제, 그리고 도구적 수렴성 명제,

이 세가지를 놓고 보면, 기계 초지능의 발달로부터 가능한 예정된 결말은 존재적 재앙일 것이라고 우려하는 주장이 서서히 그 윤곽을 드러낸다.

첫재, 우리는 최초의 초지능이 어떻게 확실한 전략적 우위를 획득할 수 있는지 논했다.

둘째는 인간의 지혜와 지적 발달과 주로 연관되어 있는 최종적 가치들을 초지능이 공유할 것이라고 아무런 검증없이 빋어서는 안된다는 것이고,

          그 근거로 직교성 명제를 제시했다.

셋째는 도구적 수렴성 명제에 따르면, 어떤 초지능의 최종 목표가 단지 원주율의 소수점을 계산하는 것이라고 해서 그것의 활동이 인간의 이익을 전혀 침해하지

          않을 것이라고 섣불리 가정해서는 안된다는 것이다.

위 세가지를 종합해 보면, 가장 먼저 등장한 초지능적 에이젼트는 지구에서 기원한 생명체들의 미래를 좌지우지할 가능성이 있고,

인간의 사고관에 입각한 최종적 가치들과는 전혀 다른 최종 목표를 지향할 수도 있으며, 끝없이 자원 획득을 추구할 도구적 이유를 가질 가능성이 크다고 할 수 있다.

능력 통제 방법은 초지능이 할 수 있는 것들을 통제하려는 것이고, 동기 선택방법은 초지능이 하기를 원하는 것들을 통제하려는 방식이다.

인간 노동에 대한 수요가 충분히 감소하면, 임금은 인간 최저 생계수준 이하로 떨어질 것이다.

따라서 인간노동자들이 겪을 손실은 극심하다. 임금 감소, 좌천, 재훈련 요청뿐만 아니라 기아와 사망에 이를 수도 있다.

말이 운동력의 제공자로서 매력을 잃었을 때, 많은 말들이 개 사료, 골분, 가죽,접착제를 만드는 육류 가공업체에 팔려갔다.

말들은 자신의 삶을 유지하기 위한 대체 일자리를 찾을 수도 없었다.

1915년에 2,600만 마리였던 미국의 말 개체수는 1950년대 초에는 200만 마리로 줄었다.

"진화"라는 단어는 종종 "진보"의 동의어로 쓰이는데, 이것은 아마 진화가 좋은 것을 향한 것이라는 무비판적인 이미지를 반영하기 때문일 것이다.

진화 과정은 항상 이득이 되는 방향으로 향한다는 잘못된 믿음은,

경쟁적 역학관계들에 의해서 결정되는 지능체의 미래에 대한 다양한 결과들을 적절하게 평가하는 데에 걸림돌이 될 수도 있다.

나아가, 과거에 어떤 진보가 이루어졌든지 간에 그것이 필연적이라고 말할 근거는 없다.

많은 부분이 행운이었을지도 모른다.

성공적인 우리의 진화적 발전에 대한 증거가 관찰 선택 효과라는 것에 의해서 걸러진다는 사실이 이 의견을 뒷받침해준다.

능력 통제는 기껏해야 일시적이고 보조적인 수단일 뿐이다.

초지능을 영원히 폐기할 생각이 아니라면, 동기 선택을 확실하게 통달해야 할 것이다.

그러나 인공 에이젼트에게 어떻게 가치를 부여하며, 어떻게 그 가치를 최종목표로 삼도록 할 수 있을까?...

에이젼트가 초지능으로 진화하기 전에 이 과정을 해결하지 못하면, 동기 부여 시스템에 관여하려는 우리의 시도에 저항할 것이고,

이런 에이젼트는 수렴하는 도구적 이유를 들어 그렇게 행동할 것이다. 가치-탑재는 굉장히 어렵지만 반드시 부딛쳐서 해결해야 할 문제이다.