AI 이후의 세계(헨리 키신져/에릭 슈밋/대니얼 허튼로커 지음)

AI의 세상은 이전과 다른 인식이 펼쳐지는 세상이다.

세상에 대한 나의 관점, 철학, 삶의 방식이 달라진다.

사고하고, 고민하며 방향을 잡아가는 것이 마땅히 필요하다.

 

인간이 뇌를 덜 사용하고 기계를 더 사용한다면 사라지는 능력이 있을 것이다.

예를 들어, 비판적 사고력, 작문력, 묘사력이 위축된다.

 

인간은 AI 시스템의 출력물에 당당히 이의를 제기하는 능력을 길러야 한다.

 

양자론에서는 관찰이 현실을 만든다고 상정한다.

관찰 이전에는 고정된 상태가 없고, 따라서 그 무엇도 명확히 존재한다고 할 수 없다.

정말로 그렇다면, 그리고 기계의 관찰로도 현실이 고정된다면, AI 시스템의 관찰이

초인적 속도로 이루어진다는 점을 감안할 때 현실을 규정하는 행위가 더욱더 빠르게 발전할 것이다.

우리가 의존하는 기계로 현실의 구조가 결정되고 다라서 달라진다면,

이제 우리는 아직 이해할 수 없는 새로운 미래를 탐색하고 이끌어갈 준비를 해야 한다.

 

감히 범접하기 어려운 사유를 행사하는 권력체에 추종자들이 집단으로 복종하는 현상은 인류사에서 종종 나타났다.

 

강력한 도덕적, 전략적, 지도체제가 필수다.

원칙이 없으면 인류는 전제 혹은 무질서, 즉 무제한적 권력의 지배 혹은 허무주의적 자유라는 위험에 처할 수 있다.

 

만일 우리가 이 기술을 완전히 통제할 수 없다면 어떻게 할 것인가?

 

정보에 맥락이 더해질 때 지식이 된다. 그리고 지식에 소신이 더해지면 지혜가 된다.

역사적으로 볼때 소신이 생기려면 홀로 성찰하는 시간이 필요했다.

하지만 인터넷은 이용자에게 수천, 수억명의 의견을 쏟아 부으며 혼자 있을 시간을 허락하지 않는다.

홀로 생각할 시간이 줄어들면 용기가 위축된다.

용기는 소신을 기르고 지키기 위해 꼭 필요하며 특히 새로운 길, 그래서 대체로 외로운 길을 걸을 때 중요하다.

인간은 소신과 지혜를 갖출 때만 새로운 지평을 탐색할 수 있다...

AI가 삶에 점점 더 넓게 영향을 미치면서,

우리의 정신이 홀로 선택과 행동을 하고, 체계화하고, 평가하던 시대가 저물고 있다.

 

AI는 비정밀하고 약동적이고, 창발적이며, 힉습이 가능하다.

AI는 데이터를 소비하여 학습하고, 데이터를 토대로 관찰하며 결론을 도출한다.

 

최신 AI는 머신러닝으로 모델을 만들고 현실의 피드백을 반영해 모델을 조정함으로써,

현실에 근접한 결과를 도출하고 고전적 알고리즘으로는 분석하지 못했을 모호한 요소를 분석한다....

훈련 단계에서 AI는 새로운 데이터를 입력받고 신경망 내의 가중치를 조정한다.

 

예를 들어 일반적 신경망은 인간의 얼굴 사진을 인식할 수 있지만,

'생성형' 신경망은 진짜처럼 보이는 인간의 얼굴 사진을 만든다. 서로 개념 자체가 다르다...

생성자가 딥페이크 제작에 악용될 우려도 있다.

딥페이크는 어떤 사람이 하지 않은 말이나 행동을 실제로 한 것처럼 감쪽같이 위조한 결과물이다.

생성자는 우리의 정보 공간을 더 풍요롭게 채우겠지만 적절히 견재하지 않으면

현실과 허구의 경계를 허물어버릴 가능성이 농후하다...

생성형 AI를 만들 때 주로 사용하는 훈련 기법은 상호보완적인 학습 목적을 가진 두 신경망을 경쟁시키는 것이다.

이를 '생성형 적대 신경망'이라고 부른다.

GAN은 잠재적 출력을 생성하는 '생성망'과 조악한 출력의 생성을 막는 '판별망'으로 구성된다.

비유하자면 생성망은 브레인스토밍을 하고, 판별망은 유의미하며 현실적인 아이디어를 선별한다.

훈련은 생성망과 판별망을 번갈아가며 진행된다.

생성망을 훈련할 때는 판별망을 고정하고, 판별망을 훈련할 때는 생성망을 고정한다.

 

AI는 자신의 발견을 반추하지 못한다...

AI는 반추하지 못하고, 그러고 싶다는 윤리적 혹은 철학적 충동도 느끼지 않는다.

그저 제가 아는 기법을 이용해 결과를 산출할 뿐이고,

그 결과는 인간의 관점에서 봤을 때 시시하거나 충격적일 수 있고, 온건하거나 악의적일 수 있다.

AI는 반추하지 못하므로 그 행동의 의의를 결정하는 것은 인간의 몫이다. 따라서 인간이 AI를 규제하고 관리해야 한다.

AI는 인간처럼 맥락을 이해하거나 행동을 반추하지 못하기 때문에 더더욱 인간이 주시해야 한다...

AI는 반추만 못하는 것이 아니라 실수도 저지른다. 인간이라면 어린 아이도 저지르지 않을 실수를 범하기도 한다.

개발자가 아무리 결점을 보완한 후 가동한다고 해도 문제가 다 잡히지 않는다.

 

AI의 불안정성은 학습의 피상성에 기인한다.

AI가 지도학습이나 강화학습으로 입력과 출력의 관계를 파악하는 방식은

인간이 다차원적 개념화와 경험으로 현상을 이해하는 것과 전혀 다르다....

AI는 지각하는 존재가 아니며 자신이 무엇을 모르는지 모른다.

그래서 인간이 볼 대는 명백한 착오를 못 알아차리고 방치하기도 한다...

AI가 소기의 행동을 수행하는지 평가하는 절차가 반드시 수립돼야 한다...

앞으로 AI를 대상으로 하는 전문성 인증 및 검정 프로그램을 개발하는 일이 각 사회의 중대한 과제가 될 것이다...

이렇게 AI를 테스트할 수 있는 이유는 머신러닝이 학습 단계와 추론 단계로 나뉘기 때문이다.

AI가 가동되는 상태에서 학습이 지속된다면 2016년에 마이크로스프트의  챗봇 테이가 일으킨 불미스러운 사태처럼

예상을 벗어나거나 바람직하지 않은 행동을 습득할 가능성이 있다....

대부분의 AI는 훈련과 가동 단계가 분리된다. 훈련을 마치면 학습된 모델, 즉 신경망의 매개변수들이 고정된다.

다시 말해 AI의 진화가 중단되기 때문에

인간은 AI가 예상을 벗어나거나 바람직하지 않은 행동을 습득할 가능성을 염려하지 않고 그 역량을 평가할 수 있다.

 

AI는 세 가지 차원에서 코드의 통제를 받는다.

첫째, 코드에 AI가 수행할 수 있는 행동의 매개변수가 지정된다.

둘째, AI는 최적화 대상을 정의하고 지정하는 목적함수로 통제된다.

셋째, 당연한 말이지만 AI는 원래 인식하고 분석하도록 지정된 입력만 처리할 수 있다.

 

AI가 스스로 코드를 작성하더라도 그것은 알파제로가 체스를 두는 것과 마찬가지로 영리할지언정,

반추 능력과 자유의지가 없이 철저히 규칙을 따르는 행위에 불과할 것이다.

 

우리 시대의 모순은 디지털화로 인간이 이용하는 정보가 계속 늘어나지만

진중한 사색에 필요한 공간은 점점 줄어든다는 사실이다.

끊임없이 범람하는 콘텐츠 때문에 사유의 비용이 증감함에 따라 사유의 빈도는 감소한다.

 

AI는 지금 우리가 아는 의미의 이성을 약화하는 움직임을 촉진한다.

SNS는 사유의 공간을 축소하고, 온라인 검색은 개념을 습득하려는 의지를 감소시킨다.

 

자신이 해석하거나 통제할 수 없는 지능이 생소하면서도 유익한 결론을 도출하는 세상에서,

그 결정을 따르는 것이 과연 어리석은 짓일가?

이런 논리에 의해 다시 주술적 세계관이 만들어진다.

이번엔 AI가 신의 대리인이 되어 계시를 내리고 일부 인간이 그 지시를 맹목적으로 따르는 구도다.

특히 AGI가  신같은 지능으로 세계를 이해하고 그 구조와 안에 내포된 가능성을 직감하는 초인적 존재로 여겨질 수 있다.

 

AI 시대의 특성을 잘 반영하고 시대의 지침이 될 윤리체계를 확립하는 일이 무엇보다 중요하다.

이는 어느 한 분야에 맡길 수 없는 과업이다.

AI를 개발하는 컴퓨터과학자와 기업가, AI를 배치하길 원하는 군사전략가, AI를 조성하려는 정치 지도자,

AI의 더 깊은 의의를 탐구하는 철학자와 신학자는 각자의 위치에서 큰 그림의 조각만 볼 수 있을 뿐이다.