동물실험 불구 결과중점 발표 경계해야
연구기간·표본 많을수록 신뢰도 향상
일련의 연구과정은 "양팔 저울" 위에 어떤 물건을 올려 놓는 것과 같다.
어느 한 쪽에 더 무거운 것이 올려지면 저울은 그 쪽으로 기울지만, 양쪽의 무게가 비슷하다면 평형상태를 유지하게 된다. 그러다가 상대쪽에 더 무거운 것이 놓이면 저울은 방향을 바꿔 그 쪽으로 기운다.
즉 여러 가지 연구 결과 중에 "A"라는 가설(假設)을 뒷받침하는 연구가 경쟁관계에 있는 다른 것보다 압도적으로 많다면, 우리는 "A"를 믿고 따르게 된다.
그러나 새로운 "B"라는 가설이 등장하면서 이를 지지하는 연구가 많아 지고, "A"와 "B"가 팽팽한 힘겨루기를 하는 평형상태에 도달하게 되면 그때는 판단을 보류하고 추가적인 연구의 결과를 기다린다.
그러다가, 어느 시점부터 "B"를 지지하는 연구가 질적 양적으로 "A"를 확연히 누르게 되면, 그 때부터는 "B"가 새로운 "리딩 가설"의 위치를 차지하게 된다. 물론, 저울의 방향을 결정하는 요인은 저울의 한 쪽에 올려지는 물건의 수 즉, 연구의 양도 중요하지만 각 물건의 무게 곧 연구의 질 또한 중요하다.
연구의 과정이란 확고한 진리를 찾을 때까지 계속해서 이어지는 가설 검증작업이며, 연구의 결과는 변할 수 있다는 사실을 암시하고 있다. 다만, 과거와 다른 점은 정교한 연구방법의 등장과 정보의 양이 증가하고 흐름이 원활해진 현대에 올수록 대세를 이뤄온 어떤 가설이 힘을 잃고 새로운 가설이 그 자리를 대신하기가 점점 더 어려워 진다는 점이다 .
어떤 가설이 확고한 이론으로 자리를 잡게 되는 것은 단시일에 이루어진 몇 편의 획기적인 연구에 의해서가 아니라, 오랜 기간 동안 수행된 수 많은 연구의 뒷받침이 있어야만 가능하다는 사실을 인식할 필요가 있다. 따라서 각종 언론에 의해 집중적인 조명을 받은 한 두 편의 연구에 대해서 일반인은 필요 이상의 관심을 가질지 모르지만, 대부분의 전문가들은 묵묵히 후속 연구를 기다린다.
또 하나 재미있는 사실은 어떤 요인 사이에 연관성이 없는 것으로 밝혀진 연구는, 유의한 결과가 나온 연구에 비해 학술지에 발표될 가능성이 낮다는 것이다. 이러한 현상을 전문용어로는 "출판에 의한 비뚤어짐(publication bias)"이라고 한다.
자주 있는 것은 아니지만 이러한 암묵적인 관행으로 인해 소중한 정보가 빛을 보지 못하고 사장되는 경우도 있다.
2. 연구 신뢰도 따져봐야
1)연구의 결과가 발표된 출처를 살펴라
대부분의 연구자들은 자신의 연구결과를 좀 더 권위 있는 학술지에 게재하기를 원한다. 권위를 인정 받고 있는 학술지일수록 연구에 대한 철저한 검증작업이 이루어지므로, 게재될 가능성이 낮음은 당연하다. 그러나 일단 학술지에 실리게 되어 세상에 모습을 드러내면, 그 연구는 동 분야의 연구자들로부터 높은 신뢰를 받게 되고 자주 인용될 수 있는 자격을 얻게 된다.
한편, 학술지의 권위를 가늠할 수 있는 지표에는 여러 가지가 있는데, 1년 동안 어떤 학술지에 실린 논문의 편수와 이 논문들이 다른 논문에서 인용된 횟수 등을 기준으로 삼아 다른 학술지와의 상대적 비교를 가능하도록 만든 "학술지 영향력 지표(journal impact factor)"는 그 중에서도 가장 유용한 지표라고 할 수 있다.
2)연구대상이 신뢰도 가름
동물실험은 윤리적인 이유로 인해 인간을 대상으로 직접 실험을 할 수 없는 미지의 독성물질에 대한 정보를 얻는데 있어서 매우 중요하고 필수적인 과정이지만, 인간과 생물학적 특성이 다르고 특히 질병발생에 있어서는 더욱 다른 양상을 보이는 동물로부터 얻어진 결과를 그대로 인간에게 적용하는 데는 한계가 있다.
또한, 동물실험은 관심의 대상이 되는 독성물질 혹은 의약품을 단시간 동안에 고농도로 투입하여 얻어진 결과이므로, 일반적으로 같은 요인에 저농도로 장기간 폭로될 가능성이 높은 인간의 생활환경과는 큰 차이가 난다. 동물실험은 인간에 대한 연구를 위한 시작이지 연구의 종료를 의미하는 것이 아니라는 사실을 명심해야 한다.
그럼에도 불구하고 우리는 종종 언론매체가 동물실험의 결과라는 사실은 스치듯이 지나가고, 이로부터 얻어진 결과만을 부각함으로써 일반인의 혼란을 야기하는 경우를 종종 보게 된다.
특히 이러한 현상이 가장 심하게 나타나는 예는, 동물실험의 결과로부터 얻어진 어떤 의약품이나 건강식품의 효과를 선전하는 상업용 광고라고 할 수 있다.
한편 인간을 대상으로 한 연구라도 구체적으로 발생한 실제 질병을 기준으로 한 것인지, 아니면 그 질병의 발생과 연관이 깊은 "전조질병(marker)"을 본 것인지를 구분할 필요가 있다.
일반적으로 질병의 발생까지 수 십년이 걸리는 만성질환의 경우 부득불 marker를 대상으로 한 연구가 많지만, marker에서 나타난 결과가 질병의 발전으로 그대로 연결되지 않는 경우가 흔히 있으므로 이를 염두에 두고 결과를 해석해야 한다.
3)연구의 방법론을 살펴야
시간적 기준에서 봤을 때 질병의 발생 이전부터 연구를 계획하고 나중에 질병의 발생유무를 살펴 어떤 요인과 특정 질병사이의 연관성을 파악하는 연구방법은, 질병이 이미 발생한 후에 기억에 의존해 거슬러 올라가 원인을 파악하는 연구보다 더 신뢰할 수 있다.
이외에도 연구의 기간이 길수록, 연구대상의 표본수가 많을수록, 지지하는 기존의 연구가 많을수록, 결과에 대한 통계적 강도가 높을수록 신뢰도는 높아진다.
4)연구비의 출처를 살펴라
이 문제는 연구 외적인 요소의 성격을 가지고 있어 언급하기 매우 민감한 부분이지만, 어떤 경우에는 연구의 질을 파악하는 데 있어서 매우 유용한 기준이 될 수 있다. 가장 대표적인 예로 예전에 담배회사에서 지원한 연구비를 받아서 수행된 한 연구가 "흡연과 폐암발생 사이에 연관성이 희박하다"라고 결론지은 사례를 들 수 있다. 그래서 연구자들은 불필요한 오해를 사지 않기 위해서 연구내용의 어느 한 부분에 연구비의 출처를 밝히고, "연구비의 제공자는 연구 결과에 아무런 영향을 미치지 않았다"라는 문구를 명시하기도 한다.
그러나 상업적 판매를 목적으로 한 상품 광고에 등장하는 연구의 결과는 더욱 주의를 기울여야 한다. 이유는 제품을 생산한 회사가 연구비를 지원하고 연구를 특정 연구기관에 위탁하는 경우가 흔히 있는데, 회사측 입장에서 볼 때는 연구의 긍정적 결과가 회사의 이익과 직결되어 있으므로, 이러한 바람이 은연중에 연구자에게 전달되어 결과에 영향을 미칠 수 있기 때문이다. 물론 이러한 우려는 앞에서 언급한 연구의 신뢰도를 측정할 수 있는 기준들을 가지고 세밀히 진단해보면 기우로 전락할 수도 있다. 따라서 상품광고와 관련한 모든 연구의 결과를 사시로 쳐다볼 필요는 없다.
3. 결과 전달 매체 평가
너무도 당연한 이야기지만 전달자는 연구자가 말하고자 하는 바에 가장 근접한 내용을 전달하려고 노력해야 한다.
그러나 우리는 종종 "전달자 스스로가 연구를 제대로 이해하지 못하는 경우", "연구 결과의 단편만을 떼내어 자의적으로 해석한 뒤, 이를 부각하여 선정적으로 보도하는 경우", "심지어 이해관계에 얽매여 의도적으로 왜곡된 내용을 전달하는 경우" 등을 목격할 수 있다.
새롭고 분명한 결과일수록 대중의 관심을 끌기 쉽고, 듣는 사람에게 단 시간 내에 강한 인상을 주어야 한다는 보도매체의 속성을 이해하지 못하는 것은 아니지만, 이것이 정도가 지나쳐 진실까지 왜곡하는 경우도 합리화시킬 수 있을 만큼 강한 설득력을 지녔다고 생각하지는 않는다.
아무리 정교하게 이루어진 훌륭한 연구라 할지라도 이를 보도하는 매체가 결과를 다르게 채색한다면, 연구자가 흘린 고귀한 땀은 헛된 수고에 지나지 않게 된다. 이러한 점에서 전달자는 책임의식과 전문성을 갖추어야 한다.
언론 보도와 관련하여 또 하나 우려되는 사항은 우리 나라 일부 언론매체의 경우 학술지의 원본을 참조하기보다는 외국의 언론사가 발표한 내용을 단순 번역하여 보도하는 경우가 많은데, 이러한 관행은 더 큰 오류를 범할 가능성이 있다고 생각한다.
인용한 외국 언론사의 보도가 진실에 가까운 것이었다면 그나마 다행이지만, 그렇지 않은 경우가 자주 있고, 원문속 "행간의 의미"를 알 수가 없어 번역한 글의 의미를 제대로 파악하기 힘든 때가 자주 있기 때문이다.
4. 어떻게 해석할까
"지난 번 발표에서는 동일한 대상(음식, 행위, 약품)을 두고 "약"이라고 했다가 이번에는 "독"이라고 하는데, 그렇다면 어느 것을 믿어야 하나?", "몸에 해로운 것으로 밝혀진 약품(식품)을 복용해 왔는데, 그렇다면 나는 앞으로 질병이나 암에 걸리게 되는 것일까?", "술도 약이 될 수 있다고 하는데, 얼마 만큼을 자주 마셔야 하지?"
각종 연구의 결과를 전하는 보도를 접한 후, 일반인들이 자주 갖게 되는 의문들이다. 즉, 한마디로 요약하면 "연구가 말하는 메시지를 어떻게 받아들여야 하나?"라고 할 수 있다.
그러나 아무리 전문가라 할 지라도 이러한 의문점에 대해서 한마디로 명쾌한 해답을 주기는 매우 힘들다. 따져봐야 할 사항이 너무나 많기 때문이다. 그렇다고 땀 흘려 수행된 연구의 성과들을 한 귀로 듣고 말수도 없는 노릇이다.
비록 다른 사람을 대상으로 한 연구지만 내가 얻을 수 있는 것은 얻어야 한다. 따라서 다음과 같은 사고방식을 가지고 연구의 결과를 대하면 어느 정도 진실에 가까운 해답을 얻는데 도움을 받을 수 있다.
5. 결과를 보는 관점
한 연구의 결과를 접할 때는 두 가지 관점에서 이를 바라보려는 자세가 필요하다. "개별 연구의 결과는 얼마나 강한 설득력을 가지고 있는가룑하는 것과 "개별 연구의 결과가 지지하는 가설은 현재 어떠한 지위에 놓여 있는가"하는 점이다.
첫번째 경우를 구체적으로 설명하면, 보통 한 연구의 결과는 "관심을 두고 분석한 특정 요인과 결과 사이에 연관성(association)이 있는 것으로 나타났다"라는 표현으로 결론을 내리는 경우가 많다.
그런데 여기서 유의해야 할 것은 "연관성룑의 실체를 제대로 파악하는 것이다. 연관성이 나타났다는 사실도 중요하지만, 그 개연성과 강도를 살피는 것도 중요하다. 연관성은 아무런 관련이 없는 요인 사이에서도 우연히 나타날 수 있기 때문이다.
그래서 각 연구들은 결과를 표시하면서 연관성에 대한 구체적인 정보(예: 신뢰구간, 유의성 등)를 함께 표시한다.
물론, 연관성이 낮다고 해서 무시해도 좋다라는 뜻은 결코 아니다. 경우에 따라서는 비록 약한 연관성이라도 큰 의미를 지닐 때가 있기 때문이다. 그러나 일반적으로는 연관성이 강하게 나타날수록 더 큰 설득력을 지닌다.
하지만 일반 언론매체에 보도되는 연구결과에서는 이러한 연관성에 대한 정보를 찾아 볼 수가 없다. 결과를 어느 정도 믿어야 할지 고민하게 만드는 요인이다. 한 예로, "통계적으로 유의하다룑라는 문구를 덧붙여 연관성을 설명하는 경우가 있는데, 그 의미는 "우연히 나타난 것으로 볼 수 없다"라는 뜻을 지닌다.
두번째로, 한 연구가 지지하는 가설의 지위를 살피라는 말은 이 연구의 결과가 기존에 수행된 연구들로부터 얼마나 큰 뒷받침을 받고 있느냐를 탐색하라는 의미이다.
앞에서도 언급한 바와 같이 한편의 연구는 대부분의 경우 양팔저울을 어느 한쪽으로 기울게 하는 많은 추 중의 하나일뿐이다. 한 편의 연구가 극적으로 세상을 바꾸는 경우는 거의 없다.
동일한 가설을 지지하는 연구가 쌓이고 또 쌓여서, 그 가설이 어느 정도 확립된(established) 위치에 이르기까지 이러한 관점을 유지하는 것이 필요하다.
6. 가설의 질을 따져라
한편, 어떤 가설의 지위는 이를 지지하는 연구의 질과 양에 따라 몇 개의 등급으로 나눌 수 있다.
첫번째, 어떤 요인 사이의 관계에 대해 지금까지 수행된 연구가 매우 적어 "그럴 수도 있겠다(possible)" 정도의 연관성만을 인정할 수 있는 경우가 있다.
즉, 양팔저울이 약간만 한쪽으로 기운 상태이다. 추가적인 연구가 뒤따라야만 방향을 확실히 잡을 수 있는, 주로 새로운 분야에서의 연구결과가 이러한 지위에 놓인다. "트랜스지방(trans fat)을 많이 섭취하면 당뇨병의 발생 위험이 증가한다"라는 예가 이 범주에 해당한다.
그 다음 단계로는 상당수의 연구에 의해 어떤 요인 사이에 유의한 연관성이 있는 것으로 밝혀졌으나, 아직은 그 증거의 힘이 확신할 수 있을 만큼 크지 않아 "그럴 가능성이 높다(probable)"라는 수준의 연관성이 인정되는 경우이다. "적당한 양의 견과류(nut)를 섭취하면 심장병을 예방할 수 있다"라는 가설을 예로 들 수 있다.
한 쪽에는 이를 지지하는 40여 편 이상의 연구가 버티고 있는데, 그 반대 쪽에는 오직 한 두 편의 연구만이 대항하고 있다고 하자. 이 때는 양팔저울이 한 쪽으로 확실히 기울어서 좀처럼 움직일 기색을 보이지 않는다.
즉, 요인 사이에 어느 정도 "확립된(established)" 연관성이 인정되는 경우이다. "적당량의 음주를 하는 것은 심장병 발생을 막는데 도움이 된다"라는 가설은 가장 적절한 예라고 할 수 있다.
"폐경기 여성의 폐경기증상 완화 및 골다공증 예방을 위해 사용된 여성호르몬요법과 경구용 피임약에 함유되었던 에스트로겐제가 유방암과 자궁내막암의 발생을 증가시키는 발암물질이다"에서처럼 공식기관이 어떤 가설의 우세를 "선언(announcement)"을 한 경우는 연관성에 대한 확신을 가져도 좋은 단계이다. 이러한 판정은 이후의 각종 법안과 기준의 제정에 영향을 미치게 된다.