파이널 인벤션(제임스 배럿 지음)

제임스 배럿의 <파이널 인벤션>과 닉 보스트롬의 <슈퍼인텔리전스>.

인공지능의 비관적인 미래를 다룬 책이다.

비관적인 책을 먼저 읽는 이유가 있다.

부정적인 부분을 먼저 접하는 것이 객관적인 시각 확보에 도움이 될거라는 나름의 직관 때문이다.

인간 수준이상의 인공지능 확보에 시간은 걸릴테지만, 특정 기능에서 인간을 능가하는 현상은 더욱 빈번해질 것이다.

SF가 현실이 되는 것을 실감하는 오늘날, 경각심을 갖는 것은 필요하다.

뇌과학 입장에서 본 의식의 정체와 이를 인공지능으로 구현하기 위해 필요한 지식, 딥러닝이 AGI의 발생을 촉진할 수 있는 가에 대한 심도있는 토론, 게임을 이용한 AGI의

벤치마킹, 인공 지능의 지능 평가 방법, 이해와 작업, 학습의 다양한 수학적 정의, 흉내 학습, AGI의 보안 문제와 죽음 및 사멸 구현 등이다.

ASI의 도덕성에 관한 의심은 인공지능 개발의 핵심 과제다...

기계에는 도덕이 없다. 있어도 위험하다.

대부분의 생명체는 자신들이 사용할 거의 모든 능력을 가지고 태어난다. 그런데 인간은 그렇지 않다.

앨런 튜링은 인간 수준 지능을 가늠하는 튜링 테스트를 고안했는데...

튜링 테스트의 기준은 인간 수준의 지능을 가장 기초적인 키보드와 모니터로 이뤄진 입력과 툴력 장치에 한정한다.

이 테스트는 판정단이 인간과 컴퓨터에게 다양한 서면 질의를 하고 답변을 받았을 때

응답이 컴퓨터에게서 온 것인지 인간에게서 온 것인지 구별하지 못한다면 컴퓨터가 이기는 방식의 테스트다.

인지 편향이란 간단히 말해서 인간들은 비합리적인 방식으로 결정을 내린다는 것을 뜻하는데,

여기에서 놀라운 점은 비합리적인 방식이 과학적으로 증명 가능한 패턴을 갖는다는 것이다.

인류는 진화를 거치며 빠른 결정을 내리기 위해 휴리스틱이라고 부르는, 일종의 정신적인 지름길을 발전시켰다.

성공한 발명가이자 작가, 특이점 전파자라고 할 수 있는 레이 커즈와일은

기술의 변화가 인간의 삶을 불가역적으로 변환시키는 '특이한' 기간의 시간을 특이점이라고 정의하고 있다.

야심가들은 파괴적인 것을 무서워하기보다는 무시하는 것을 택해요....

인공지능에 의한 멸망은 인공지능 개발자들에게 일반적인 일이 아니다.

그들에게 더 중요하고 유용한 일은 종신 연구직을 받고, 출판을 하며, 돈을 많이 버는 것이다.

오모훈드로는 자기인식과 자기개선을 하는 시스템은 인간들의 생물학적인 욕구와 비슷한 네 가지 원초적인 욕구인

효율, 자기보존, 자원획득, 그리고 창의성을 발전시킬 것이라 예측했다.

초지능 기계는 인간이 필요해서 만들어낸 마지막 발명품이 될 것이다.

오늘날 인공신경망은 음성인식과 필기인식, 재정 모델링, 신용 인증, 로봇 제어에 이르는 매우 다양한 영역에 이용되고 있다.

인공신경망은 특히 패턴인식 분야에서 놀라운 성능을 보인다.

대부분의 신경망은 대용량의 데이터로 '트레이닝'하는 과정을 통해 네트워크가 패턴을 '학습'할 수 있게 한다.

버노 빈지는 기술의 특이점이라는 개념이 근본적인 불가지성임을 매우 명확하게 알고 있었습니다.

지능이 진화하는 데 수십억 년이 걸렸어요. 지능은 생명체의 복잠성에 의해 갑자기 등장하는 것이 아닙니다.

저절로 나타나지는 않아요. 거기에는 자연선택이라는 최적화 압력이 필요합니다.

특이점을 괴짜들의 무아경이라고 부르는 것도 놀라운 일은 아니다.

순수함을 위한 의식이나 허약한 인간들의 몸을 극복하고 영원한 생명을 기원하는 종말론적 종교의 전반적인 특징을 가지고 있으며

대적하기 어려운 카리스마 넘치는 리더가 있다. 나는 현재 우리가 생각하는 것 중의 가장 중요한 것이 인공지능이라는 특이점주의자들의 생각에 격하게 동의한다.

그렇지만 영생과 관련한 이야기는 정말 하고 싶지 않다. 영생에 대한 꿈은 현실을 왜곡한다.

특이점주의자들은 기술의 융합이 가속화되면 현재 생각할 수 있는 각각의 재앙뿐만 아니라

이들의 결합으로 발생할 수 있는 재앙 역시 180도 다른 시각을 갖게 될 것이라 말한다.

인간이 가장 두려워하는 '죽음'이라는 공포에서 우리를 구할 수 있을 거라고 말이다....

가장 합리적인 사람들도 자신들의 종교에 대해 냉정하게 평가하지 못한다.

지능이 체화되어야 생긴다고 믿는 사람들은 지식 자체가 감각과 운동의 경험에서 나온다고 생각한다.

인지적 처리는 그런 경험 없이 나타나지 않는다. 사과를 학습할 때 인간과 같은 감각 없이는 절대로 인간처럼 사과를 인식하는 지능이 나오지 않는다는 것이다.

사과라는 개념은 그것에 대해 읽고 듣는 것으로 만들어지는 것이 아니라 사과의 향을 맡고, 느끼고, 보고 맛보는 과정을 필요로 한다.

감각적 경험은 많을수록 좋다. 인공지능 분야에서 이런 문제를 '접지문제'라고 한다.

유드코프스키는 AGI를 만드는 것이 우호적이라 증명되기 전까지는 재앙적인 실수라 주장하는 반면,

괴첼은 완전 자동화된 인프라를 ASI가 완전히 장악하기 이전에 AGI를 개발해야 한다고 주장한다.

뇌의 복잡성은 한마디로 대단합니다. 모든 구조들이 어떤 특정한 일을 하기 위해 수백만년 동안 진화를 통해 정교한 형태를 잡았어요.

그것이 무엇인든 간에 말이죠.

뇌안의 모든 개별적인 구조와 신경회로는 각각 진화와 환경적인 요인들에 의해 정제된 것들입니다.

뇌는 유일하게 생각과 학습, 그리고 인식을 하는 기관입니다.

어떤 공학적인 접근도 뇌의 이런 작업 능력에 근접하거나 비슷하게 만들지 못합니다.

우리는 생각하는 것만으로 시행착오를 무수히 테스트해볼 수 있다.

머릿속에서 시뮬레이션을 하는 것이다.

인공적인 알고리즘들은 이 방법들을 결합하여 하나의 방법을 쓸 때보다 성능을 높인다.

풍력이나 태양광 발전을 제외하면 전력망에서 전기를 끌어다 쓰지 않는 것이 얼마나 될까?...

전력망 전문가들은 전력망은 가장 엄격한 수준에서 '밀접하게 연결'되어 있고 작은 부분의 문제가 네트워크 전반에 대한 붕괴를 일으키는

'폭포수'같은 연쇄반응이 일어날 수 있음을 배웠다.

오래된 격언이 떠올랐다.

"절대 사용되지 않을 무기가 발명된 적이 있었던가?"

구글 검색만으로도 자동화된 살해와 상해를 일으키는 무기화된 무시무시한 로봇 리스트를 볼 수 있다.

이 기계들이 머지않은 미래에 이용될 것이다.

공공의 돈을 쓰는 정책입안자들은 스턱스넷을 무모하게 배포할 때처럼 일반인들의 사전동의가 필요하다고 생각하지 않는다.