[창간 18주년] 명성을 높이거나 사기 낮추거나 ... 연구논문 평가 좌우하는 IF
[창간 18주년] 명성을 높이거나 사기 낮추거나 ... 연구논문 평가 좌우하는 IF
  • 박선재 기자
  • 승인 2019.07.24 06:00
  • 댓글 0
이 기사를 공유합니다

인용지수 높으면 좋은 연구?
일각서 IF 문제점 지적 잇따라
사진: 포토파크닷컴

[메디칼업저버 박선재 기자] 과학자들에게 Impact Factor(IF)가 높은 저널에 자신의 논문을 게재하는 언제나 희망 사항이다.

IF가 높은 저널에 논문을 실어 그 분야 최고 전문가 위치에 서기도 하고, 사람들의 눈길을 받지 못하는 그저 그런 논문을 쓴 교수에 머물기도 하기 때문이다.

이런 이유로 IF는 아주 오랫동안 왕좌의 자리를 누려왔다.

국내 상황도 다르지 않다. IF가 높은 논문을 발표하면 '잭팟'을 터트렸다는 얘기가 나올 정도로 그 힘은 막강하다.  

그런데 최근 많은 연구자가 IF만으로 연구자와 논문을 평가하는 것은 문제가 있다고 입을 모은다.  인용 수치로 논문의 성과를 평가하는 것은 연구자들의 노력을 폄하하는 것이란 주장이다. 

IF가 높은 논문을 쓰는 것도 중요하지만, 의학은 분야가 다양하고, 연구자들의 관심 분야도 각양각색이라 이를 일괄적으로 다룰 수는 없다는 것이다. 일각에서는 IF를 폐지해야 한다는 과격한 주장이 나오기도 한다.

IF 신뢰할 만한 평가 도구인가?

IF의 한계를 지적하고 나선 곳은 2007년 유럽과학학술지편집인협회(EASE)다. 

EASE는 IF는 늘 신뢰할 수 있는 평가도구가 아니라고 문제를 제기하며, 단일 논문(single papers)이나 연구자, 연구 프로그램 등 전반적인 것을 평가할 수 없다고 지적했다. 그러면서 IF는 단지 논문을 평가하고 비교하기 위한 것이라고 비판했다. 

2013년에는 더 강한 비판의 목소리가 나왔다. 샌프란시스코 선언(San Francisco declaration on research assessment)이 그것이다.

당시 여러 나라 과학자들이 학술 출판사인 엘스비어에 논문투고나 협력을 하지 않겠다고 선언하면서 파문이 일었다. 과학자들은 출판사가 논문을 돈벌이에 이용하고 있다며, 논문 투고나 편집위원회에 참여하지 않겠다고 서명했다. 

사진- 포토파크닷컴

사실 IF는 도서관 사서들이 어떤 학술지를 구매할지 결정할 때 참조한 지수였다. 그런데 서서히 연구 평가의 주요 지표가 되면서 연구 내용보다는 얼마나 인용됐느냐가 더 중요해졌다. 

대한의학학술지편집인협의회(이하 의편협)도 IF의 문제점을 오랫동안 지적해 오고 있다. 평가위원회 양희진 위원장(보라매병원 신경외과)은 "인용지수의 속성은 학문마다 다른데, 이것을 IF로 계산한다는 것은 문제가 있다. 또 IF 저널 내부의 인용 분포가 한 쪽으로 매우 치우쳐 있다는 것도 문제"라며 "인용지수는 편집 정책에 의해 조작될 가능성도 있고, 인용지수를 계산할 때 사용된 데이터가 투명하지 않고, 공공접근이 가능하지도 않다"고 지적했다. 

서울대병원 조영민 교수(내분비내과)도 IF의 한계점에 대해 언급했다. 조 교수는 "IF가 높은 저널에 연구가 실린 연구자는 우수한 연구자일 수 있지만, 그 역은 성립하지 않는다"며 "연구자가 많거나 약물이 많은 분야일수록 IF가 높은 저널에 게재될 확률이 높다. 소아외과, 심장외과 등 IF가 높게 나오지 않을 진료과가 있을 수 있다"고 말했다. 

또 "학자의 능력을 인기 있는 분야만 잘하는 것으로 평가하는 것은 올바른 방향이 아니다"라고 꼬집었다. 

 승진·인센티브에도 영향…"의존하지 말고 현명하게 사용하라"

국내 상황은 어떨까? 외국과 크게 다르지 않다. 모든 대학병원 교수들이 IF가 높은 저널에 자신의 논문을 싣고 싶어 한다고 해도 과언이 아니다. 대다수의 의대는 물론 대학병원이 논문의 질을 IF로 평가하고, 이에 따르는 판단을 하기 때문이다. 

아주대병원 김대중 교수(내분비내과)는 '필연'이라는 단어를 꺼내 들었다. IF가 여러 한계점을 갖고 있지만, 현실적으로 어쩔 수 없는 상황을 교수의 필연으로 정리한 듯했다. 또 IF가 높은 저널에 실린 논문일수록 학술적 평가는 물론 연구지원, 펀딩 등으로 이어진다. 병원 내 승진에도 도움이 되고, 연구 인센티브도 있어 더 좋은 논문을 쓰기 위한 동력이 된다는 뜻이기도 했다.

사진-포토파크닷컴

단국대병원 최상규 교수(방사선종양학과)도 김 교수와 같은 의견을 냈다. 최 교수는 "병원에서 진료를 병행하는 의사들이 IF가 높은 저널에 게재될 수 있는 논문을 쓰는 것은 말처럼 쉽지 않다"며 "하지만 병원 내 승진이나 연구업적 평가 시 영향을 주기 때문에 IF가 높은 저널에 실리는 논문을 쓰는 것은 중요하다. 실제 IF가 높은 저널에 논문이 발표되면 인센티브와도 관련이 있다"고 말했다. 

김 교수는 국내 연구자들의 태도를 꼬집기도 했다. 김 교수는 2018년 6월 미국심장학회지(JACC)에 SGLT-2 억제제와 다른 당뇨병 약물을 비교한 연구인 'The CVD-REAL 2 Study'를 주 저자인 미국 세인트루크 미드 아메리카 심장연구소 Mikhail Kosiborod 박사와 발표한 바 있다.

하지만 김 교수는 이 논문에 대해 평가받지 못했다. 김 교수는 "IF 16.8인 JACC에 공동 저자로 참여해 The CVD-REAL 2 Study를 발표했지만 공동 저자라 업적으로서의 가치는 제로였다"며 "우리나라가 공동 저자를 인정하지 않는 이유는 무임승차하는 사람이 많기 때문"이라고 전했다.

"IF에만 의존해서는 안 돼"

최근 IF의 단점을 지적하는 목소리도 커지고 있다. 우선 과학정보연구소(ISI)가 만든 Web of Knowledge에서 전 세계에서 출간되는 저널들을 수록한다지만, 개발도상국가나 영어를 사용하지 않는 국가의 저널 수는 적을 수밖에 없다. 또 인용기간이 2년으로 너무 짧다는 것과 미생물 등 매우 전문분야의 IF가 낮다는 점도 한계로 지적된다.

이 외에도 의학분야 저널이 공학이나 수학분야보다 IF가 높은 것은 주제에 영향을 받는다는 지적도 나오고 있다. 
IF의 이러한 평가기준으로 인해 국내 학술지도 위축될 수밖에 없는 상황이다. 

최 교수는 "IF만 중요하게 평가하면서 국내 학술지가 무시받는 경향이 있다. 따라서 논문을 평가할 때 IF 반영률을 낮추고 국내 학술지 반영률을 높이는 방향으로 가야 한다"고 제안했다. 
IF를 현명하게 사용해야 하고, 지나치게 의존해서는 안 된다는 조언도 나온다. 저널이나 연구자를 평가할 때 특정 요소에 치중하지 말고 다양한 요소를 균형 있게 고려해야 한다는 것이다. 평가위원회도 대학 등 평가기관은 여러 메트릭스(METRICS)를 사용하고, 각 논문과 IF는 별개로 평가해야 한다고 주장하고 있다. 

현장에서의 변화도 감지된다. 서울의대는 IF만을 평가하기보다 연구자의 다양한 측면을 평가하기 시작한 것.

조 교수는 "올해부터 연구의 독창성, 중요성, 일관성, 발전가능성도 같이 평가하기 시작했다"며 "IF뿐만 아니라 연구자가 얼마나 오랫동안 한 분야를 깊게 연구해 왔는지를 평가하기 시작했다. 연구자들이 긴 호흡으로 연구를 진행할 수 있도록 돕겠다는 것"이라고 말했다. 

다른 대안을 제시하는 의견도 나왔다. 김 교수는 "요즘은 학문적 업적(H index), 연구성과를 질적 수준으로 나타내는 Field-Weighted Citation Impact 등 논문 자체의 임용 정도를 평가받아야 한다는 의견도 있다"며 "공동 저자도 인정받아야 한다"고 제언했다. 



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.