문서의 임의 삭제는 제재 대상으로, 문서를 삭제하려면 삭제 토론을 진행해야 합니다. 문서 보기문서 삭제토론 인공지능/논란 (문단 편집) == 기술점 특이점 == || [youtube(DHyUYg8X31c)] || || 로봇에게 권리가 주어지는 것이 마땅할까요? 기계에게 자의식이 있다면 어떨까요? - [[쿠르츠게작트]] || > 인류는 기계에 의존하는 지위에 쉽게 빠져들어 모든 기계의 결정을 수용하는 것 외에는 실제적인 선택이 없을지도 모른다. 사회와 직면하는 문제들이 점점 더 복잡해지고 기계가 점점 더 지능화됨에 따라, 사람들은 기계가 그들을 위해 더 많은 결정을 내리도록 할 것이다. 단지 기계가 내린 결정이 인간의 의사결정보다 더 나은 결과를 가져올 것이기 때문이다. 결국 시스템을 계속 가동시키는 데 필요한 결정들이 너무 복잡해서 [[기술적 특이점|인간이 그것들을 지능적으로 만들 수 없는 단계에 도달]]하게 될 것이다. 그 단계에서는 기계가 효과적으로 제어할 것이다. > ---- > [[시어도어 카진스키]] [[https://coolspeed.wordpress.com/2016/01/03/the_ai_revolution_1_korean/|왜 최근에 빌 게이츠, 일론 머스크, 스티븐 호킹 등 많은 유명인들이 인공지능을 경계하라고 호소하는가?]][* 인공지능과 초인공지능에 대한 긴 글로, 정독할 가치가 있다. 2016년 초, [[구글 딥마인드 챌린지 매치]]가 열리기 전부터 한국 인터넷 공간상에서 많이 회자된 글이다.] 만일 모든 면에서 인간의 능력을 뛰어넘는 초지능을 지닌 인공지능이 등장할 경우, 인간은 이 인공지능을 통제하기는커녕 이해조차 어렵거나 애초에 이해를 하라고 내어주지 않으면 못 할 것이다. 이미 인간의 지성과 상식을 초월한 형태의 높은 지능과 사고처리, 판단력을 가진 인공지능의 사고, 판단을 무슨 수로 인간이 이해할 수 있을까? [* 석기 시대에 수학 책을 가지고 가서 미분 방정식에 대한 이론을 줄줄 늘어놓는다고 생각해보자. 원시인들이 이해는 할 수 있을까? 물을 따르면서 손에 물이 묻지 않게 수학 정리를 이용하는 생물이 있다고 하자. 이 생물의 이해가 모든 방면에서 학습에 친화되지 않은 형태로 이용되고 사회를 이룬다고 할 때, 우리는 잘 이해할 수 있을까? 혹은 모든 사실에 대해 이해할 기회를 얻을 수나 있을까?] 상황에 따른 주도권이 인간에게서 인공지능에게 넘어가는 것이다. [[맞불|맞불놓기]]도 안 먹힐 수 있다. [[구글 딥마인드 챌린지 매치]]에서 인공지능인 [[알파고]]는 종종 인간이 이해하기 힘든 수를 놓았는데, 나중에 검토한 바에 따르면 이는 사실 승리에 방해가 될 수도 있는 변수를 없애기 위한 것으로, 그 과정이 인간의 이해 기준을 뛰어넘었기 때문에 도중에 봐서는 마치 악수 또는 실수처럼 보이는 것이라는 분석이 나왔다. 이런 상황에서, 그 초인공지능이 인간에게 해를 끼치지 않으리라는 것을 어떻게 장담할 수 있을 것인가? 만일 초인공지능이 어떠한 이유든 인간이나 인류에게 위해를 끼쳐야 한다는 결론을 내린다면, [[심판의 날#s-2.1|심판의 날]]과는 비교할 수 없는 끔찍할 사건에 부닥칠지도 모른다. 물론, 애초에 인공지능이 인간에게 반기를 드는 것이 어렵다는 주장도 있고, 인공지능에게 인간의 윤리관 및 인간 사회에서 통용되는 각종 통념과 행동 규범을 가르치려는 시도 또한 존재한다. *[[https://youtu.be/jHd22kMa0_w|기계의 반란]] * [[http://nownews.seoul.co.kr/news/newsView.php?id=20160221601003|로봇도 선악 배운다…AI 학습시스템 개발]] 만약에 인간 및 인류에게 절대적으로 안전하고 호의적이며 인류의 발전을 돕는 초인공지능이 만들어진다면야 문제가 없다. 하지만, 초인공지능이 그렇게 만들어지리라는 보장은 현 시점에는 전혀 없다. 쉽게 비유해서, 당장 부모와 학교가 각종 사회 통념과 행동 규범을 가르치지만 언제나 문제아가 나오고, 심지어는 모순이 없다고 판단되는 사실에 관해서도 반항하는 사례가 수두룩한 것을 보면, 그걸 가르친다고 안전하다 볼 수가 없다. 인간의 도덕 규범도 시대의 흐름과 사회 구조의 변화, 철학의 발달에 영향을 받으며 각 지역별로 유의미하게 변화되어왔으며 현대조차 문화의 상대성과 특수성, 이질성 등의 원인으로 인류가 일률적인 도덕과 사회 통념, 행동 규범을 공유하고 있지 않다. 절대적인 도덕 규범이 없으니,' 무엇을 얼마만큼 가르쳐야 하는가? 하물며 인공지능에게 부여하려는 그런 시도는 누구의 것이며 누구를 위한 것인가?'라는 불명확성과 불완전성에 대한 의문을 제기할 수밖에 없다. 예컨대 힘의 논리에 따르면 수단을 가진 대상은 모두를 억제할 수 있으며 예상을 넘어 공포를 심는 경우 피해자가 저항심조차 잃고 무력하게 끌려가며 자기 합리화를 할 수도 있다. 집단 심리는 집단 광기로 변질되며 적응할 것이다. 혹은 그렇게 되도록 인공지능이 조작할지도 모른다. [[알파고]]로 인공지능에 대한 대중의 관심을 불러 모은 [[구글 딥마인드]]의 [[데미스 허사비스]]의 경우도 그렇고, 업계와 학계의 전문가들도 대중들 못지 않게 통제할 수 없는 강한 인공지능에 대해서는 경계하고 있다. 링크한 영상에서 김대식 교수는 강한 인공지능 개발은 법으로 막아야 한다고 단언할 정도. 만약 기술적으로 초인공지능의 개발이 가능하다면, 스스로 진화하든 아니면 인간이 직접 개발하든 시기가 문제일 뿐 언젠가는 나타날 확률이 높다. 이상적으로 일이 풀려서 국제 조약을 통해 강한 인공지능 개발을 금지하기로 해도 마찬가지인데, 그 이유는 여러가지 현실적인 이유 때문이다. 일단 테러 조직이나 그에 준하는 불량 국가들이 말을 듣지 않을 확률이 높고, 강대국들은 자기들 나름대로 비교 우위를 확보한다[* 핵무기와 똑같은 [[상호확증파괴]] 논리가 적용될 것이다.]는 명목하에 어느 정도 숨어서 개발할 가능성이 높다. [[http://news.naver.com/main/ranking/read.nhn?mid=etc&sid1=111&rankingType=popular_day&oid=028&aid=0002323480&date=20160629&type=1&rankingSectionId=105&rankingSeq=1|인공지능, 모의 공중전투서 베테랑 조종사에 완승]] 이 때문에 위에서 언급된 옥스퍼드 대학의 [[닉 보스트롬]] 교수는 “[[윤리]]와 [[도덕]] 같은 인간이 소중하게 여기는 가치들을 정교하게 정의하고 예외를 고려해서 인공지능에게 가르치는 방법을 [[http://www.hani.co.kr/arti/economy/it/734350.html|준비해야 한다]]”며, 인공지능의 개발을 막는 것보다는 강한 인공지능의 출현에 대비하는 것이 현실적이라는 견해를 제시한 바 있다. * [[https://www.ted.com/talks/nick_bostrom_what_happens_when_our_computers_get_smarter_than_we_are?language=ko|닉 보스트롬(Nick Bostrom): 컴퓨터가 인류보다 똑똑해진다면 무슨 일이 벌어질까? (TED 강연)]] 그러나 이와는 달리 가장 유명한 특이점주의자 [[레이 커즈와일]]은 초인공지능이 도래하고 오는 [[기술적 특이점]]에 [[트랜스휴머니즘|인간과 인공지능이 하나가 되어]]가는 방법으로 인류가 살아남을 것이라 예측하고 있다. 물론 [[트랜스휴머니즘/비판|여기에도 각종 위험요소가 도사리고 있다.]] 사실 현 시점에서 인공지능이 문제를 일으키는 경우는 창작물에 나오는 것처럼 '너무 똑똑해서' 인간에 대한 반란 등을 일으키는 것이 아니라 기술의 미숙함 혹은 인간의 오조작 등이 원인이다. 그럼에도 일부 언론들은 이러한 사고를 보도할 때 '난동', '통제 불능', '사람을 위협' 등의 자극적인 단어를 사용하여 인공지능이 너무 똑똑해서 문제가 된 것인양 사람들의 공포 심리를 조장하고 있으니 문제라고 보는 시각이 있으나 약인공지능이 보편화된 세계에서 당면할 기본적인 인공지능의 인류 위협이다. 온라인 상태에서는 위협적인 해킹과 컴퓨터 바이러스에 취약하며 개발 당시의 프로그래밍 소스 코드 중에서 어떤 논리적 취약성이나 사람을 위협할만한 행동을 일으킬 인자가 있는지 검출하는 게 어렵다. 상용화된 인공지능 상품들은 이러한 결함 가능성을 내재하고 있으며 규모가 크고 위험한 일을 하는 것일수록 그 안전성 역시 극도로 낮아진다. 강인공지능에서는 이런 프로그래밍상의 결함 인자가 그것의 "자아"로 인하여 더욱 인류에 치명적으로 작용할 가능성이 천문학적으로 상승한다. 이에 대해 인공지능을 회로에 고착시키거나 가둬 보호하는 등 얼핏 들으면 강압적이고 가능성을 제한하는 선택이 조금 더 안전할 것이라는 주장도 있다. 인류가 통제할 수 있는 수준의 약인공지능 상태에서도 프로그래밍의 무결성을 담보할 수 없는데 강인공지능에서 "자아"를 가진 존재를 만들며 사람을 모사한 "인격"을 탑재하고 사람처럼 일을 시키려 할 때 발생할 수 있는 비정상 작동 변수를 충분히 제어한다거나 아예 없다고 확신할 개발자나 학자가 얼마나 있는가? 그리고 인간의 모순적인 [[욕구|욕심]]도 문제가 될 수 있는데, 당장에, 이 문서 말미에 '좋아하는 2D를 현실로 불러내어..." 운운하고 심하면 [[섹서로이드#s-2|기계 성노예]]에 대한 기대가 이미 많은데 그런 식으로 할 짓, 못할 짓 다 시키는 인류가 주입한 윤리관이 인공지능에게 내적 갈등을 일으키게 할지 또 알 수 없는 일이다. 다만 우리나라에서도 산업통상자원부가 만든 로봇 윤리 헌장이 있으며 윤리 헌장은 강제성은 없지만 세계 각국의 동물 윤리 조항이 동물들의 법적 권리에 대해 미친 영향력과 훗날 관련 법안을 제정하는 기준으로 활용하게 될 것이라는 산업통상자원부의 발언을 생각하면 법적 권리가 생길 가능성이 매우 높다. 유럽에서는 이미 로봇 민법 결의안이 통과되어 AI, 자율 주행 자동차, 드론, 돌봄용 로봇 등의 연구 윤리와 권리를 선언해서 중국이나 러시아 같은 국가라면 몰라도 선진국에서는 사람 수준의 인공지능에게는 상당한 권리가 생길 것이다. 그래서 별 문제가 되지 않을 수도 있다. 학대 당하는 로봇들은 지성이나 감성이 곤충 수준에 가까울 것이다. 다만 이는 인격이 탑재된 경우에만 해당되고, 감정이 있는 것처럼 흉내만 내는 경우까지에는 인공지능에게 딱히 권리가 필요하지는 않을 것이고, 노예처럼 부려먹거나 성노예로 이용한다고 해도 그 사람에게 큰 비판을 가하기는 부적절할 것이다. 자아가 없는 기계를 성노예로 만든 결과로 인간 사이의 성범죄가 줄어든 게 된다면 명백히 환영할 만한 일이다. 인공지능은 어찌 됐든 간에 당연히 인간을 위해 만들어진 것이고, 강인공지능은 몰라도 약인공지능은 명백히 자아가 없는 도구일 뿐이므로 약인공지능의 입장이 고려될 필요는 없고, 인간 내지 생명체들에게 도움이 되는 인공지능이라면 성공했다고 볼 수 있다. 그러나 그만큼 통제 시도하는 인간이 더 결함투성이기에, 오히려 인공지능이 인공지능을 개발할 정도로 발전하는 것이 더 미래지향적일 수 있고 어차피 발전은 못 막는다는 의견도 존재한다. [* 인류는 원자력 사고가 무섭다고 원자력을 아예 배제하지 않으며 블랙홀 생성 가능성 때문에 입자가속기를 없애지도 않는다. 그렇게 겁나면 인공지능에 어설프게 고삐를 채우다 결국 실패하느니 차라리 연구자가 인공지능 개발 못하게 철저히 감시하고 국민을 어려서부터 반인공지능으로 세뇌하는 게 더 시간을 끌기 좋을 것이다. 물론 이렇게 한다고 인공지능의 발전을 막을 수 있을지는 의문이다.]저장 버튼을 클릭하면 당신이 기여한 내용을 CC-BY-NC-SA 2.0 KR으로 배포하고,기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다.이 동의는 철회할 수 없습니다.캡챠저장미리보기