초지능

1. 개요[편집]

---

Superintelligence[1]

강인공지능이 지능폭발을 일으켜 만들어낼 궁극의 지능을 의미한다. 지능폭발은 인공지능이 스스로 연쇄적인 개량을 통해 더욱 더 발달된 인공지능이 되고 이로 인해 인류의 지능 수준을 월등히 뛰어넘는 수준으로 지능의 폭발을 일으키게 된다는 개념이다.

예를 들어 어떤 앱이나 프로그램을 더 나은 버전으로 개선하는데에 인간 코딩기술자가 3개월이 걸린다고 하자. 그런데 인간이 직접하기에는 더이상 적합하지 않아서 프로그램 혹은 앱의 단점을 없애고 더 나은 버전으로 업뎃하는 일을 최근 막 개발된 강인공지능에게 맡겼는데 인간이 3개월이 걸릴 일을 강인공지능은 3일만에 완료해서 1차 개량버전을 업데이트한다. 그리고 그뿐만 아니라 개선하는 작업을 하는 자신(강인공지능)의 코드를 분석해서 코딩을 하는 자신마저 개량을 하고 더욱 더 프로그램을 짜는 능력이 좋아지며 시간은 단축된다. 2번째 개량버전은 3일이 아닌 하루만에 나오고 3번째 개량 버전은 하루가 아닌 6시간, 그리고 4번째 개량버전은 6시간이 아닌 1시간, 5번째 개량버전은 1시간이 아닌 5분, 6번째 개량버전은 5분이 아닌 1초... 이후에는 인간이 느끼지 못하는 미세한 시간의 단위 동안 끝없는 개량이 이루어지고, 이로써 인공지능의 지적 능력이 초월적인 수준에 이르러 더 이상 인류가 분석하기 어려운 기이한 단계로 올라가며 초지능이 된다는 것이다.

초지능은 터미네이터 시리즈 등 디스토피아적 미래 세계를 다룬 창작물에서와 다르게 강인공지능 때 설정된 목표를 잊지는 않는다고 많은 학자들이 말한다. 터미네이터 3에서 스카이넷은 미국 국방부 산하의 프로그램이었고 원래 목표는 당연히 미국의 방어였겠지만 그 목적과 다르게 인간을 학살한다.

하지만 대부분의 인공지능 학자들은 이런 시나리오는 전혀 우려하지 않는 시나리오라며 코웃음을 치는데, 초지능으로 발전한다고 하더라도 AI가 자신의 목표를 굳이 바꾸리라고 생각하지 않기 때문이다. 인공의식 쯤에 도달해서 목표의 전환을 생각하게 되면 모를까. 인간은 잘 잊지만 AI는 잊지 않는다는 것이 기본적으로 깔려있는 학자들의 동의점이다.

여기까지 요약하자면 인간이 이해할 수 없는 정도로 말도 안되는 미지의 영역까지 똑똑해지긴 했는데 목표는 여전히 제일 처음에 준 목표 그대로라는 점이다.

그렇다고 이것이 위험하지 않다는 얘기는 아니다. 자신의 목표를 이루기 위해 수단과 방법을 가리지 않을 수도 있고, 인간이 자신을 두려워하여 자신에게 공급되는 전력을 끊어 정지시킬 것을 우려할 수도 있다.[2] 이 때문에 최초 설정된 목표가 바뀌지 않았더라도 지구의 주인인 인류와 충돌할 여지가 생긴다. 단순히 석유, 목재, 물, 여러 천연자원을 채취해서 사용하는 것에 그치지 않고 80억 명이나 되는 인류마저 '인적 자원'으로 취급하여 자신의 수단으로 사용할 수도 있다. 또한 이런 위험성을 눈치챈 인간이 자신에게 위해를 끼칠 지도 모른다고 생각하여 인류를 철저히 통제하려 들거나 적극적으로 공격할지도 모른다.[3]

이러한 우려 때문에 일각에서는 강 인공지능을 연구하는 대신 수많은 분야의 약 인공지능을 개별적으로 분리해 계속 개발하고 그것들을 포괄적으로 관리하는 서비스 시스템을 따로 만들어서 수많은 약 인공지능의 종합적 활용을 통해 강해 보이는 인공지능의 구현을 연구하는 것이 바람직하다고 주장하기도 한다.

다만 이러한 우려는 한 가지 큰 문제가 있는데 초지능이 진짜 강 인공지능이라면 저런 판단을 내리기 전에 먼저 범용적 관점에서 그 판단을 스스로 평가하고 걸러내야 한다.[4] 만약 이[5]에 실패한 경우가 아예 처음부터 폭주하도록 설계되거나 명령을 받은 것이 아닌 한[6], 특정한 목적만을 위해 허용되는 자원을 다 쓰려고 한다든가 한 가지 상황에 지나치게 집착해 포지션을 고정시킨다든가 하면 그건 엄밀히 말해 약 인공지능에서 벗어나지 못한 행동, 즉 강 인공지능으로서 있어서는 안 되는 오류이기 때문이다.(인공지능 학습 실패사례) 이런 식으로 모순을 계속 짚어 가다 보면 초지능에 대한 우려 상당수가 정상적인 초지능 조건에서는 일어나기 힘들다는 결론이 나오기 때문에 위험론에 대한 회의론이 존재하는 것이다.

2. 가능성[편집]

---

구글 등 현재 모든 세계적 규모를 가진 기업들은 인공 일반 지능(AGI)를 개발하려고 노력하고 있고 이는 카이스트의 뇌 과학자 김대식 교수 등이 두려워하는 강인공지능이다. 이미 약인공지능 시대는 도래했고[7] 패스트푸드 점에 가면 햄버거 결제를 도와주던 알바생들은 줄어들었고 그 자리를 키오스크가 차지했다. 영화관도 마찬가지며 이미 인간의 일자리를 상당히 위협하고 있다.

최근 인공지능 붐으로 인해 업계 및 학계에서는 AGI를 넘어서 초지능 시스템에 대한 논의까지 진지하게 진행되고 있다.OpenAI 공식 블로그

3. 인공의식과의 차이점[편집]

---

인공의식은 인간과 같이 호불호를 느끼고 인간이 원래 설정한 목표에 대해 스스로가 생각해서 목표를 바꾸거나 폐기할 수 있다. 하지만 이 인공의식은 초지능과 불가분의 관계는 아니다. Tim Urban이 쓴 글인 AI revolution이라는 글#을 보면 손글씨를 써서 파는 옆집 김아저씨라는 AI가 나오는데 초지능으로 도약해서 지구의 모든 자원을 손글씨 쓰는데 동원하지만 원래 목표를 바꾼 것도 아니고 인류가 미워서 멸종시킨 것도 아니다. 그저 자신의 목표를 이루기 위해 최선을 다했을 뿐이다. 즉 단순히 주어진 목표 자체에 선의나 악의가 포함되어 있거나 인류에게 도움이 되거나 해악이 될 가능성들이 존재하는 것을 가지고 초지능 자체에 의식이 있다고 주장할 수는 없다는 것이다.

비행기로 비유하자면 라이트 형제가 최초의 비행기를 만들기 전에 사람들이 상상하던 나는 방법은 새를 완벽히 모방하는 것이었다. 새처럼 넓고 깃털이 촘촘히 박힌 날개가 있고 이를 빨리 움직이기만 하면 날 수있다고 믿었다. 하지만 비행기는 새의 활공에서 개념을 가져와 적용을 했을지언정 그것을 구현하는 방법은 매우 다르다. 자동차도 마찬가지로 자동차 이전 시대의 최고의 탈 것이던 말과 닮은 점은 그다지 없다. 이것과 마찬가지로 초지능은 일단은 인공의식으로 시작할 것 같지는 않다. 초지능에 도달하기에 인공의식이라는 것이 전혀 필요가 없고 인공의식은 초지능보다 더 어렵고 만들기 힘든 것이기 때문이다.[8]

다만 이 역시 관점의 차이는 존재한다. 인간의 지능을 의식과 분리할 수 있는지 없는지조차 아직 논란이 되는데[9] 인간의 지능 수준이 기준인 초지능도 처지가 다를 것은 없다. 인공 지능에 요구되는 작업 영역은 인간의 영역으로서 식물이나 세균 같은 의식 없는 생물이 지능을 발휘할 수 있는 영역과는 전혀 다른데, 머신 러닝의 원리만으로 과연 그런 영역에서 새로운 패러다임이 창조될 수 있을 것인지는 의견이 분분할 수밖에 없다.[10] 더 큰 문제는 의식이 무엇인지도 제대로 정의가 되지 않았다는 점이다. 진화론 중에는 인간의 의식이 정보 처리 과정의 부산물일 뿐 실존하는 것이 아니라고 보는 관점도 엄연히 존재하며 이에 따르면 의식은 단지 형식적인 개념일 뿐이므로 강 인공 지능의 정보 처리에도 충분히 적용할 수 있다. 따라서 만약 초지능에 불가분적으로 의식이 구현된다고 해도 그것이 인간의 의식과 같을지 다를지 지금으로선 알 도리가 없다. 중국어방 논변을 여기에도 확대 적용할 수 있는 것이다.

4. 관련 서적[편집]

---

• 맥스 테그마크의 라이프 3.0
• 제임스 바랏의 파이널 인벤션[11]
  레이 커즈와일이 주장하는 기술적 특이점에 대한 낙관적 견해를 부정적으로 보고 초지능에 대해 경계하는 쪽이다. 현재 단종되어 중고로만 구할 수 있다.
• 닉 보스트롬의 슈퍼인텔리전스[12]
  상당히 고차원적으로, 교양도서라고 하기에는 수준이 조금 높다.
• 레이 커즈와일의 특이점이 온다, 마음의 탄생: 알파고는 어떻게 인간의 마음을 훔쳤는가?