문서의 임의 삭제는 제재 대상으로, 문서를 삭제하려면 삭제 토론을 진행해야 합니다. 문서 보기문서 삭제토론 동료평가 (문단 편집) == 학술 연구자들의 상호작용 == [include(틀:과학 연구·실험)] >"논문 투고가 받아들여지기 위해 충족되어야 할 첫 번째 기준은 논문 내용에 충분한 타당성이 있어야 한다는 것이다. 과학 논문은 [[유사과학|괴짜나 사기꾼]], 실력 없는 엉터리들에게 끊임없이 시달리는데, 학술지가 그런 사람들로 인해 수렁에 빠지지 않으려면 그들이 투고한 논문에 퇴짜를 놓아야 한다." >---- >― 마이클 폴라니(M.Polanyi) >"[[학문]]은 상처 투성이의 논쟁을 통해서 발전한다." >---- >― [[프랜시스 베이컨]] [[파일:peer-review.jpg]] >"많은 과학자들은 새로이 '''간소화된''' 동료평가 방식에 대해 '많이 발전했다'라는 의견을 표하였다."[* 그림은 고대 형벌의 일종인 [[건틀릿(동음이의어)#s-3|건틀릿]]을 패러디한 것이다.] ([[http://www.lab-initio.com|출처]]) '''같은''' 학자들끼리 [[논문]]을 돌려보며 평가한다고 해서 동료평가다. [[과학철학]]계에서 동료평가와 [[과학자사회]]의 중요성을 알린 인물은 바로 물리학자이자 과학철학자인 마이클 폴라니이다. 그는 과학함의 의미를 [[논문|명시화된 수준]]뿐만 아니라 [[노하우|인간 내적이고 암묵적인 수준]]에서도 이루어지는 지식축적의 과정에서 찾으면서, 이러한 과정을 공유하는 것이 바로 과학적인 것이라고 하였다.[* 현장에서 뛰는 과학자들이 가장 공감할 법한 '과학다움' 의 정의이기도 하다. 과학철학에 큰 관심 없이 자기 연구에만 몰두하는 과학자들은 "무엇이 과학적인가" 라는 질문을 받으면 머릿속에 막연히 떠다니는 지적 엄격함의 느낌을 쉽게 말로 풀어서 설명하기 쉽지 않지만, 한편으로는 그것을 숨 쉬듯이 자연스럽게 자신의 논문에 녹여내곤 한다. 폴라니가 지적하는 것은, 과학이 과학이기 위한 기준은 명시화될 수 있는 체크리스트 같은 게 아니며, 이처럼 현장에서 체화할 수 있는 [[노하우]](knowing-how)의 영역에 속해 있다는 것이다.] 폴라니는 여기서 더 나아가, 어떻게 수천 수만의 전 세계 과학자들이 연구의 품질을 동일하게 유지하는 통일성을 보일 수 있는지에 대답하고자 했다. 그는 그 비결로서 서로가 서로의 연구에 대해 자신의 과학함의 경험을 토대로 상대방의 연구 결과를 평가하는 활동인 '''상호통제의 원리'''(principle of mutual control)를 제안했다. 특히나 과학의 각 분야들은 [[갈라파고스화|완전히 동떨어져 있지 않으며]] 어느 정도씩은 중첩되어 있으므로, 서로의 경험이 사슬처럼 조금씩 겹쳐지고 겹쳐지면서 상호통제가 확장될 수 있다. 마침내, [[천문학]]과 [[의학]]처럼 완전히 다른 주제를 연구하더라도 서로의 연구의 품질에 대해 최소한도의 수준에서는 좋다 나쁘다의 말을 얹을 수 있다. 이것을 폴라니는 '''이웃 중첩의 사슬'''(chains of overlapping neighborhood)이라고 하였다. 요약하자면, 전세계의 모든 과학자들이 서로 비슷비슷한 연구 품질의 기준을 갖고 있는 것은 [[과학자사회]]가 서로를 통제하는 수단인 동료평가 덕분이라는 것이다. 학술세계에서 동료평가는 대략 두 가지로 구분될 수 있는데, 하나는 과학자 동료들 사이에 서로의 연구 아이디어나 방법론을 접해보고 나름대로의 의견을 교류하는 '''코멘트'''(comment) 또는 '''비평'''(criticism)이고, 다른 하나는 실제로 [[저널]]에서 특정 연구자의 논문을 출판하기 전에 그 질적 수준을 평가하는 과정이다. 전자는 좀 더 캐주얼한 느낌이지만, 후자는 정말로 하드코어한 과정이다. 비유하자면, 길거리 [[클럽]]들에서 [[바운서|출입자를 관리하는 과정]]이 바로 저널의 동료평가라고 할 수 있다. 클럽들이 이를 통해서 자기네 클럽의 "물" 을 관리하듯이, 저널들도 엄격한 동료평가를 통해서 자기 저널의 [[임팩트 팩터|"물"]] 을 관리한다. 만일 어떤 클럽이 유독 입구에서 까다롭게 굴면서 정말 그럴싸한 사람들만 들여보내 준다면, 그 클럽 안에 있는 사람들은 일단 기본적으로 어지간히 차려입고 매력적인 사람이라고 봐도 될 것이다. 마찬가지로, 어떤 저널이 동료평가를 엄청나게 까다롭게 하면서 짜게 평가한다면, 그 저널에 실린 논문들의 가치는 그만큼 높을 것이라고 믿어도 될 것이다. 저널의 동료평가를 하는 사람들은 다시 두 종류로 나누어진다. 하나는 '''편집장'''(editor)이고, 다른 하나는 '''심사위원'''(reviewer)이다. 편집장은 자기 저널의 질적인 수준이나 내용적 측면에 대해서 책임을 지게 된다. 물론 그만큼 권한도 막강해서, 심사위원들의 의견과는 다른 결정을 내릴 수 있다. 저널이 영세할 경우 편집장이 직접 심사하기도 하고, 거대할 경우에는 부편집장(associate editor)을 두어서 역할을 분담하기도 한다. 만일 투고된 논문이 너무 [[불쏘시개|쓰레기]]거나 저널과 맞지않는 주제의 연구라면 편집장은 심사위원들의 도움을 거치지 않고 독자적으로 거부(reject)할 수도 있고, 반대로 세상을 놀라게 할 희대의 논문이라고 생각되면[* 예: [[제임스 듀이 왓슨]]과 [[프랜시스 크릭]]의 [[DNA]] 발견 논문] 채택(accept) 할 수도 있다. 그러나 편집장들이 현실적으로 자기 전공분야라 하더라도 모든 논의주제에 통달하기는 힘들다. 학문의 외연은 엄청나게 넓고, 비록 편집장이 ○○학을 전공한다고 해도 ○○학 내부에서 진행되는 수많은 논의주제에서 벌어지는 최신의 흐름을 모두 이해하기란 쉽지 않다. 여기서 심사위원들의 활약이 필요하다. 심사위원들은 편집장이 적절하다고 생각되는 인물로 찾아서 요청하게 되는데, 투고된 논문과 일치하는 세부분야를 전공한 다수의 학자들이 심사위원이 된다. 심사위원들은 그 논문을 읽어보고 그 가치에 대해서 편집장에게 정보를 제공하게 되는데, 이들은 그 논문을 채택 혹은 거부할 권한까지는 없으며, 단지 채택 혹은 거부에 필요한 조언만을 해줄 수 있을 뿐이다. 가끔이긴 하지만, 마이너한 분야 혹은 막 생겨난 신생분야에서는 편집장이 그 분야 심사위원을 구하지 못해 논문이 거부되는 일도 있긴 있다고 한다. 그래서 일부 저널들은 투고자가 원할 경우 자신이 희망하는 심사위원을 지명하여 추천할 수 있도록 배려하기도 한다.[* 사실 이것은 투고자 입장에서는 좋은 제도이지만, 동료평가를 해주는 심사위원들에게는 가혹할 수 있다. 투고자들의 입장에서 동료평가를 해 주었으면 하는 연구자는 대개 그 분야의 유망하거나 이미 유명한 인물인 경우가 많고, 결국 한정된 수의 유명한 일부 연구자들이 더욱 혹사당하게 되기 때문이다. 이는 투고자가 그 분야 연구자들을 전부 알지 못한다는 한계 때문이기도 하지만, "기왕이면 실력과 명망이 있는 분이 내 논문을 첨삭 지도해 주었으면" 하는 심리 때문인 것이 더 크다.] SagePub 등에서 명시하는 추천 리뷰어의 조건은 다음의 세 가지다. * 당신의 원고 제출 사실에 대해서 사전 지식을 갖고 있지 않을 것 (The reviewer should have no prior knowledge of your submission) * 저자들 중의 누구와도 최근에 협업했던 경험이 없을 것 (The reviewer should not have recently collaborated with any of the authors) * 저자들 중의 누구와도 같은 기관에 소속되어 있지 않을 것 (Reviewer nominees from the same institution as any of the authors are not permitted) 이처럼 동료평가는 그 저널의 생명과도 같고 핵심적인 요체이기 때문에, 그 저널의 품질에 있어 결정적인 요소다. 따라서 '''새 논문을 발표하는 연구자는 자기 연구주제에 대해서 전세계에서 뛰는 그 분야 석학들의 파상적인 공격을 온몸으로 막아내며 방어해야 한다'''는 얘기가 나오는 것이다. 이것을 실패하면 백발이 성성한 [[최종보스]]급 노학자들에게서 뿜어져 나오는 내공과 포스가 여러분의 논문을 탈곡기마냥 탈탈 털어버리게 된다.[* 연구 역사가 깊은 데다 한창 인기가 있어서 엄청나게 많은 학자들과 연구자들이 갈려들어가는 유명한 분야들에서 이런 극악한 사례가 있을 확률이 높다.] 보다 소프트하게 보자면 오래된 속담인 "머리 두 개가 하나보다 낫다"(Two heads are better than one)는 말처럼, 다른 연구자의 시선에서는 내가 놓쳤을 수 있는 결함이나 약점이 의외로 많이 발견된다. 당장 [[석사]]과정 [[대학원생]]들끼리 각자의 학위논문 주제를 놓고 난상토론을 벌여 봐도 숱하게 쏟아져나온다. 심사위원들이 논문의 저자명을 알 수도 있고 [[맹검법|아닌 경우도 있다.]] 논문의 저자명을 알게 되는 경우 심사위원이 아는 사람이라고 관대하게 봐주거나 더 씹어버릴 수 있기 때문에, 논문의 저자이름은 저널의 정책에 따라 심사위원에게 전해지기도 하고 아닌 경우도 있다. 다만 논문의 저자 쪽에 심사위원을 알려주는 법은 절대 없다. 대신에 에디터는 저자들에게 각 심사위원들을 R1, R2, R3 같은 식으로 지칭하도록 안내한다. ~~가끔 심사위원이 빡치면 자기 신상을 리뷰에 스스로 밝히기도 한다~~ ~~싸우자~~ 예외적으로 특집호의 경우 거기에 실리는 논문들은 동료평가의 대상이 되지 않는다. 대신 저널 측에서 운영하는 편집위원회가 자신들이 생각하는 방향으로 특집호를 꾸리기 위해서 자체적으로 저자를 초빙하고 논문의 주제에 대해 협의한다. 한 예로, 저 유명한 [[앨런 소칼의 지적 사기 사건]]이 바로 이 특집호 논문이었는데, 이 때문에 소칼의 논문은 동료평가를 받지 않았고 그 대신 편집위원회에게서 내용이 지나치게 난해하다는 지적을 받았던 것. 물론 소칼은 자신의 계획대로 출판을 원했기에 그냥 씹었지만. 심사가 끝나고 게재가 결정되어 출판이 되었다고 해서 동료평가도 끝나는 건 아니다. 이제부터는 본격적인 오프라인에서의 대면 말싸움(…), 즉 '''게재 후 동료평가'''(post-publication peer review)라는 것이 시작된다. 대표적으로 [[저널]] 클럽(journal club) 같은 데서 그 저널을 애독하는 학자들이 모여서 비평을 하게 되고, 게재는 되었어도 의구심이 가시지 않는 문헌에 대해서는 여기서 한번 더 [[뒷담화]]를 당한다. 차후 [[피인용수]]를 높이는 데 하등 도움이 되지 않는 것. 반대로 정말 희대의 논문이다 싶을 경우에는 게재 후에 이런 과정을 거쳐서 상당한 인기를 얻을 수도 있다. 심지어 이미 출판된 논문들에 대해서 '''댓글을 달아서''' 나무위키 토론하듯이 토론할 수 있는 [[https://pubpeer.com/|PubPeer]]라는 사이트도 있다. 물론 저널에 있어서의 동료평가가 중요함은 부정할 수 없으나, 앞서 언급했던 코멘트나 비평 역시 그 못지않게 중요하다. 즉 저널에서 이루어지는 동료평가는 상당히 좁은 의미의 "체계화된" 절차라면, 코멘트나 비평은 보다 넓은 의미의 캐주얼한 상호작용이라고 봐도 되겠다. 특히 학술대회의 [[프로시딩]]과 같은 물건들이 포스터 발표를 할 때 중요하다. 포스터를 걸어놓고 다른 연구자들의 열람과 즉석 코멘트를 받는 것은 저널에서 받는 동료평가와는 사뭇 다르다. 실제로 그 목적부터가 저널은 이 논문이 실릴지 말지에 대한 조언을 제공하기 위함이라면, 즉석 코멘트의 경우 그냥 말 그대로 궁금한 게 뭔지, 생각난 게 뭔지, 유사한 연구가 뭔지에 대해 [[질문]]하거나 언급할 수도 있으며 필요하다면 칭찬이나 격려도 당연히 할 수 있다. 괜히 학술세계에서 [[과학 공동체]] 활동이 중요한 게 아니다. 연구는 절대 혼자서 하는 게 아니라는 것이다. [[과학적 회의주의]]를 다루는 사이트 [[http://www.kopsa.or.kr|한국의사과학연구소]]에서 강건일 교수는 과학과 과학이 아닌 것을 구분하는 기준으로서 대등한 과학자의 심사를 거쳤는지 확인할 것을 제안하고 있다. 동료평가가 업계에서 얼마나 중요하게 작용하는지 알 수 있는 부분 중 하나. 물론 꼭 과학분야가 아니더라도 [[인문학]]과 같은 다른 분야에서도 동료 연구자들의 평가는 매우 중요한 건 마찬가지다. [[http://www.yonhapnews.co.kr/bulletin/2015/11/03/0200000000AKR20151103188400017.HTML?input=1195m|동료평가도 셀프로 할 수 있다고 한다.]] 이메일 계정을 잔뜩 만들어 그 계정들로 [[다중이#s-2|다중이]]짓을 하는 건데 '''그 시초가 한국이라고...''' 게다가 국내에서는 상호간 익명성이 보장되는 경우도 많지 않은 데다, 심사위원이 일부러 사소한 것까지 잔뜩 트집잡아서 투고자를 가혹하게 몰아붙인 뒤 조용히 술자리로 불러서 편집장에게 해당 논문을 추천해주는 대가로 200~300을 요구하는(!) 터무니없는 관행도 일부 잔존한다고 한다. 출판윤리 개념이 미숙한 나라의 [[과학자사회]]일수록 이런 경향이 심하며, 세계적으로는 이 문제로 [[중국]] 학계가 악명이 높다고. 또한 가끔이지만 국내에서는 동료평가의 전문성이 역전되는 경우도 있다. 방법론이 그다지 강조되지 않고 학문의 여건도 부족할 당시에 학위를 받은 사람들이 원로 석학이 되어 논문에 대한 평가를 하는 건데, 젊은 신진 연구자들은 해외 동향에도 빠르고 첨단 통계분석 기법에도 개방적이다 보니 간혹 리뷰어들이 듣도보도 못한 고급 연구방법을 내세우게 되곤 한다. 그러다 보니 리뷰어는 이게 왜 이렇게 분석되는 건지 이해를 못한 채 분석방법이 틀렸다고만 하고, 투고자는 이걸 일일이 가르쳐줄 수도 없고 결국 억울하게 리젝당하게 되는 황당한 일들도 종종 벌어지기도 한다. 2015년에 테일러 앤 프랜시스 그룹(Taylor & Francis Group)에서 [[http://www.editage.co.kr/insights/how-authors-reviewers-and-editors-perceive-peer-review-an-overview-of-the-taylor-francis-report|동료평가에 대한 보고서]]를 냈다. ([[http://authorservices.taylorandfrancis.com/wp-content/uploads/2015/10/Peer-Review-2015-white-paper.pdf|보고서 전문 보기]]) 많은 연구자들이 동료평가의 기능과 목적, 내용에 대해 합의하고 있었으며 소소한 개선이 필요하다는 보수적인 관점을 내놨다. 일반적으로 [[사회과학]]보다는 [[자연과학]]과 [[의학]] 등이 동료평가의 가치를 높게 평가했으며, 동료평가를 통해 방법론과 연구의 중요성, 저널이 추구하는 방향과의 합치성 등을 확인하는 것을 가장 기대하고 있다는 답변이 많았다. 동료평가도 많이 하면 상을 받을 수 있다고 한다. [[2016년]]부터 새로 제정된 "과학의 수호자"(Sentinels of Science) 상이라는데, 상금 자체는 1,000달러 [[상품권]] 정도로 소소한(?) 편. 그러나 이는 동료평가의 중요성을 공식적으로 인정해 주기 위해 도입된 상으로, 자기 연구시간 쪼개기도 바쁜 [[교수]]들과 연구원들이 굳이 시간을 내어 타인의 연구에 대해 비평하고 도와주는 것에 자부심을 느끼게 하기 위해서라고 한다. [[https://blog.publons.com/unveiling-the-sentinels-of-science-for-prw16|#]] 꼭 상 때문이 아니더라도 젊은 연구자들이나 심지어 포닥들은 자신이 동료평가 리뷰어로 선정되기를 원하는 경우가 많은데, 눈코 뜰 새 없이 바쁜 일정임에도 굳이 리뷰어를 역임하려는 이유는 '''이것이 자신의 경력이 되기 때문이다.''' 실제로 연구자들의 [[이력서]](CV)를 보면 동료평가 리뷰어로 뛰었던 기록들이 줄줄이 남겨져 있다. 또한 이는 아직 학계에서 기초가 부실한 이들이 확고한 인정을 받기 위한 수단이기도 하고, 또 자신이 이 분야의 [[전문가]]라고 [[과학자사회]]에서 공적으로 인정받는다는 [[자부심]]도 있기 때문에 상당히 매력적이다. 게다가 리뷰어로 뛰면서 상세하고 균형잡혀 있으며 건설적인 제안을 남기게 되면 (이미 그 분야의 석학의 위상을 누리는) 저널 에디터가 이 사람의 전문성에 대해서 눈여겨보게 되고, 이는 곧 학계에서의 명성으로 이어진다. 그래서 일부는 각종 [[저널]]들에 열심히 러브콜을 보내기도 한다고. [[http://blog.naver.com/editage_kr/220840201123|관련 블로그 포스트]] 동료평가를 믿을 수 없다면 다른 저널에 내는 게 좋다. [[http://www.ibric.org/myboard/read.php?Board=isori&id=12544|국내 SCI-E]]에서는 '연구로 인해 도출된 학술적 의미가 미흡하다'는 이유로 거절당했지만 해외 SCI에서는 '참신한 연구설계를 바탕으로 새로운 학술적 사실을 밝혀내어 기초미생물학적 의미가 크다'라고 평가하는 경우도 있다. 국내에서는 가끔 대학원생에게 리뷰를 대신 시키는 교수들이 있어서 생기는 일일 수도 있다. * 외부 링크 * [[http://blog.naver.com/editage_kr/221115671369|2017 시카고 피어 리뷰 회의에서 얻은 13가지]]저장 버튼을 클릭하면 당신이 기여한 내용을 CC-BY-NC-SA 2.0 KR으로 배포하고,기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다.이 동의는 철회할 수 없습니다.캡챠저장미리보기