울산의대 임영석 교수
테노포비르 엔테카비르 간암 발생률 연구 철회 위기에 기사회생
지난해 8월 미국의사협회가 발간하는 저널인 JAMA Oncology(자매지)에 만성 B형간염 치료제간 간암 발생률이 다르다는 내용의 국내 코호트 연구가 실렸다. 국내 대규모 코호트로는 첫 쾌거다.
이 연구는 건강보험공단 코호트와 서울아산병원 코호트 등 총 100만명 이상을 대상으로 테노포비르와 엔테카비르의 간암 발생률을 비교한 연구로 주목을 끌었다. 연구의 결론은 테노포비르가 엔테카비르 대비 간암발생이 38% 더 낮게 나온 것. 당연히 치료제 선택의 중요성이 뜨거운 화두로 올라섰다.
그러나 올 초 한편의 레터를 받으면서 논문 철회 위기를 맞았다. 연구에 수치 오류가 있다 지적을 받은 것. 하지만 최종적으로는 논문은 완전 철회되지 않았고, 수정을 거쳐 우수성은 그대로 인정받았다. 교신저자인 울산의대 임영석 교수(서울아산병원 소화기내과)를 지난 대한간학회 학술대회장에서 만나 뒷이야기를 들어봤다.
Q. JAMA Oncology에 논문이 발표된 이후 어떤 일이 있었던 것인가?
해당 논문이 2018년 9월에 온라인에 먼저 실렸다. 통상 온라인에 등재되면 짧은 시간에 많은 연구자들이 페이퍼를 본다. 해당 논문은 한달 만에 7000여건이 읽혔다. 동시에 다른 연구자들이 논문의 무결성 또는 완결성도 평가한다. 이 과정에서 일부 오류가 있을 수 있다는 레터를 받았다.
Q. 구체적으로 어떤 레터인가?
총 3개의 레터를 받았다. 모두 전 세계 전문가들로 부터 온 것이다. 이 중 두개는 이해부족에 따른 지적 레터로 큰 문제가 없었지만, 남은 한 개의 레터가 문제였다. 주요 내용은 통계 오류를 지적한 것이다. 이 문제를 놓고 중국 베이징대학 지아지동 교수, 대만의 양화이 교수 등 비롯한 많은 데이터 분석 전문가들이 이상하다고 판단했고 이를 저널 에디터에 보낸 것이다.
Q. 무엇이 잘못된 것인가?
이번 논문은 두개의 베이스다. 하나는 건보공단 데이터고 다른 하나는 서울아산병원 데이타다. 공단 데이터는 연구자들의 접근권한이 없어 NECA에서 담당했다. NECA 연구팀이 건보공단에 접근해서 만든 자료를 자문해주는 방식이다. 이번에 문제가 된 부분은 바로 건보공단 데이터였다. 연도별로 간암 등 사건이 진행되면서 간암 발생률 차이를 보는 원리라서 이벤트가 생기거나, 특수한 경우로 추적 관찰이 어려워지면 제외돼야 한다. 예를 들어 간암발생된 환자, 사망한 환자, 환자가 급여자격을 상실한 경우, 이민가는 경우, 추적기간을 채우지 못한 환자들이 발생하면 전체 환자군에 해당하는 분모는 계속 줄어야 하는데 이것이 반영이 안됐다.
Q. 프로그램의 문제인가?
그렇다. 100만명에 해당하는 대규모 데이터라서 프로그램으로 밖에 할 수 없는데 나중에 확인해보니 코딩 에러가 있었다는 점을 확인했다. 연구 종료 시점이 2016년 12월로 돼 있어야 했는데 2018년 12월로 범위가 잘못됐다. 실제 분석은 2017년 초반에 시작을 했기 때문에 이미 발생하지 않는 시점까지 미리 분석하게 것이다. 그러나 사건이 발생하지 않으니까 분자는 달라지지 않아서 문제는 없는데 분모(모집단)가 달라지는 문제가 생긴다.
Q. 결과는 달라졌나.
연구의 1차 종료점은 간암 발생률인데 두 치료제간의 발생률 차이는 여전히 통계적으로 유의한 차이가 있었다. 최초 연구에서 위험비는 0.62로 테노포비르가 38% 더 낮았는데, 수치가 0.68로 낮아지면서 상대적 발생률도 32%로 바뀌었다. 이 수치는 아산병원 코호트에서 나타난 것과 동일하다. 하지만 2차 종료점으로 관찰한 간암사망률은 차이가 있었던 것이 없어졌다.
Q. 철회 위기속에서 어떻게 유지가 된 것인가?
1차 종료점이 크게 바뀌지는 않았지만 각종 데이터 포인트들이 너무 달라져서 고칠게 많았다. 이런 점때문에 논문 철회가능성이 있다고 판단했다.
의도했던 의도하지 않았던 연구자 윤리상 모든 데이터를 숨김없이 알려야 한다고 판단하고, 판정을 기다리기로 했다. 그 결과 앞서도 유사한 수치 오류 사례가 몇 차례 있었다는 점을 들어 최종 적으로 단순코딩에러로 판단해 대체(리플레이스)로 결정된 것이다.
Q. 이전 논문도 유지되는 것인가?
수정 이전 페이퍼는 서플리멘터리 형태(보조자료, 부록)로 유지가 된다. 이 논문이 있어야만 어떤 문제가 있었는지 또 무엇이 달라졌는지를 볼 수 있기 때문이다. 게다가 변화를 이끌었던 레터의 내용과 실수 항목, 어떻게 해결했는지도 JAMA Oncology에서 다 볼 수 있다.
Q. 흔한 일은 아닌것 같은데 저널 평가가 매우 열려있다는 생각이 든다.
사실 이번과 같은 빅데이터 분석 오류는 이전 논문에서는 자주 볼 수 없는 경우다. 전자의무기록이 활성화된 시점이 2000년대 초반이라서 그 전까지는 없다가 빅데이터 분석 논문이 속속 투고되면서 발생하는 일이다. 때문에 JAMA도 변화에 맞게 논문 오류에 대한 대응방안을 논의했다. 총 4가지의 기준이 있는데 우선 의도적인 조작은 무조건 철회하고 조작 과정도 다 공개하고 있다. 또 아주 작은 실수는 철회하지 않고 다음호에 정정기사는 내는 식으로 기회를 주고 있다. 예를 들어 오타같은 작은 실수들이다. 고의성은 없지만 결론이 달라지는 것도 어쩔 수 없이 철회로 결정하고 있다. 의미는 달라지는 것은 문제가 있기 때문이다. 마지막으로 제 사례처럼 의미가 유지되는 것은 철회 및 대체로 결정하고 있다.
Q. 사망률이 통계적 유의성이 없어졌지만 테노포비르가 우선 처방되야 한다는 의견에는 변함이 없나?
그렇다. 대만, 중국, 유럽 등 해외 연구들이 진행되고 있어서 중간 결과를 듣고 있는데 비교적 일치되게 나온다. 또한 중요한 것은 반대방향으로 나온 연구가 아직까지 없다는 것이다. 국내 연구를 비롯해 일부 해외 데이터에서 두 약제간 차이가 없다는 연구도 종종 볼 수 있는데, 차이없게 분석하는 것은 어렵지 않다. 모집단이 작아 아웃콤이 충분히 생기지 않으면 차이를 볼 수 없는게 당연하다. 그래서 차이가 없는게 그닥 중요한 것은 아니다.
Q. 처방변화도 기대하고 있나?
사실 대학병원급에서는 테노포비르 처방이 압도적으로 많다. 약제 판매율이 그것을 증명한다. 의원에서는 반반인 것으로 아는데 초처방에서는 여전이 테노포비어가 많이 처방된다고 본다. 가장 중요한 점은 엔테카비르가 더 많이 간암을 발생시키는 것은 아니라는 점이다. 엔테카비르도 간암 발생을 많이 줄이는 약물로 우수한 약이지만 간암 발생에서는 차이가 있다는 점을 강조하고 싶다.
이 연구는 건강보험공단 코호트와 서울아산병원 코호트 등 총 100만명 이상을 대상으로 테노포비르와 엔테카비르의 간암 발생률을 비교한 연구로 주목을 끌었다. 연구의 결론은 테노포비르가 엔테카비르 대비 간암발생이 38% 더 낮게 나온 것. 당연히 치료제 선택의 중요성이 뜨거운 화두로 올라섰다.
그러나 올 초 한편의 레터를 받으면서 논문 철회 위기를 맞았다. 연구에 수치 오류가 있다 지적을 받은 것. 하지만 최종적으로는 논문은 완전 철회되지 않았고, 수정을 거쳐 우수성은 그대로 인정받았다. 교신저자인 울산의대 임영석 교수(서울아산병원 소화기내과)를 지난 대한간학회 학술대회장에서 만나 뒷이야기를 들어봤다.
Q. JAMA Oncology에 논문이 발표된 이후 어떤 일이 있었던 것인가?
해당 논문이 2018년 9월에 온라인에 먼저 실렸다. 통상 온라인에 등재되면 짧은 시간에 많은 연구자들이 페이퍼를 본다. 해당 논문은 한달 만에 7000여건이 읽혔다. 동시에 다른 연구자들이 논문의 무결성 또는 완결성도 평가한다. 이 과정에서 일부 오류가 있을 수 있다는 레터를 받았다.
Q. 구체적으로 어떤 레터인가?
총 3개의 레터를 받았다. 모두 전 세계 전문가들로 부터 온 것이다. 이 중 두개는 이해부족에 따른 지적 레터로 큰 문제가 없었지만, 남은 한 개의 레터가 문제였다. 주요 내용은 통계 오류를 지적한 것이다. 이 문제를 놓고 중국 베이징대학 지아지동 교수, 대만의 양화이 교수 등 비롯한 많은 데이터 분석 전문가들이 이상하다고 판단했고 이를 저널 에디터에 보낸 것이다.
Q. 무엇이 잘못된 것인가?
이번 논문은 두개의 베이스다. 하나는 건보공단 데이터고 다른 하나는 서울아산병원 데이타다. 공단 데이터는 연구자들의 접근권한이 없어 NECA에서 담당했다. NECA 연구팀이 건보공단에 접근해서 만든 자료를 자문해주는 방식이다. 이번에 문제가 된 부분은 바로 건보공단 데이터였다. 연도별로 간암 등 사건이 진행되면서 간암 발생률 차이를 보는 원리라서 이벤트가 생기거나, 특수한 경우로 추적 관찰이 어려워지면 제외돼야 한다. 예를 들어 간암발생된 환자, 사망한 환자, 환자가 급여자격을 상실한 경우, 이민가는 경우, 추적기간을 채우지 못한 환자들이 발생하면 전체 환자군에 해당하는 분모는 계속 줄어야 하는데 이것이 반영이 안됐다.
Q. 프로그램의 문제인가?
그렇다. 100만명에 해당하는 대규모 데이터라서 프로그램으로 밖에 할 수 없는데 나중에 확인해보니 코딩 에러가 있었다는 점을 확인했다. 연구 종료 시점이 2016년 12월로 돼 있어야 했는데 2018년 12월로 범위가 잘못됐다. 실제 분석은 2017년 초반에 시작을 했기 때문에 이미 발생하지 않는 시점까지 미리 분석하게 것이다. 그러나 사건이 발생하지 않으니까 분자는 달라지지 않아서 문제는 없는데 분모(모집단)가 달라지는 문제가 생긴다.
Q. 결과는 달라졌나.
연구의 1차 종료점은 간암 발생률인데 두 치료제간의 발생률 차이는 여전히 통계적으로 유의한 차이가 있었다. 최초 연구에서 위험비는 0.62로 테노포비르가 38% 더 낮았는데, 수치가 0.68로 낮아지면서 상대적 발생률도 32%로 바뀌었다. 이 수치는 아산병원 코호트에서 나타난 것과 동일하다. 하지만 2차 종료점으로 관찰한 간암사망률은 차이가 있었던 것이 없어졌다.
Q. 철회 위기속에서 어떻게 유지가 된 것인가?
1차 종료점이 크게 바뀌지는 않았지만 각종 데이터 포인트들이 너무 달라져서 고칠게 많았다. 이런 점때문에 논문 철회가능성이 있다고 판단했다.
의도했던 의도하지 않았던 연구자 윤리상 모든 데이터를 숨김없이 알려야 한다고 판단하고, 판정을 기다리기로 했다. 그 결과 앞서도 유사한 수치 오류 사례가 몇 차례 있었다는 점을 들어 최종 적으로 단순코딩에러로 판단해 대체(리플레이스)로 결정된 것이다.
Q. 이전 논문도 유지되는 것인가?
수정 이전 페이퍼는 서플리멘터리 형태(보조자료, 부록)로 유지가 된다. 이 논문이 있어야만 어떤 문제가 있었는지 또 무엇이 달라졌는지를 볼 수 있기 때문이다. 게다가 변화를 이끌었던 레터의 내용과 실수 항목, 어떻게 해결했는지도 JAMA Oncology에서 다 볼 수 있다.
Q. 흔한 일은 아닌것 같은데 저널 평가가 매우 열려있다는 생각이 든다.
사실 이번과 같은 빅데이터 분석 오류는 이전 논문에서는 자주 볼 수 없는 경우다. 전자의무기록이 활성화된 시점이 2000년대 초반이라서 그 전까지는 없다가 빅데이터 분석 논문이 속속 투고되면서 발생하는 일이다. 때문에 JAMA도 변화에 맞게 논문 오류에 대한 대응방안을 논의했다. 총 4가지의 기준이 있는데 우선 의도적인 조작은 무조건 철회하고 조작 과정도 다 공개하고 있다. 또 아주 작은 실수는 철회하지 않고 다음호에 정정기사는 내는 식으로 기회를 주고 있다. 예를 들어 오타같은 작은 실수들이다. 고의성은 없지만 결론이 달라지는 것도 어쩔 수 없이 철회로 결정하고 있다. 의미는 달라지는 것은 문제가 있기 때문이다. 마지막으로 제 사례처럼 의미가 유지되는 것은 철회 및 대체로 결정하고 있다.
Q. 사망률이 통계적 유의성이 없어졌지만 테노포비르가 우선 처방되야 한다는 의견에는 변함이 없나?
그렇다. 대만, 중국, 유럽 등 해외 연구들이 진행되고 있어서 중간 결과를 듣고 있는데 비교적 일치되게 나온다. 또한 중요한 것은 반대방향으로 나온 연구가 아직까지 없다는 것이다. 국내 연구를 비롯해 일부 해외 데이터에서 두 약제간 차이가 없다는 연구도 종종 볼 수 있는데, 차이없게 분석하는 것은 어렵지 않다. 모집단이 작아 아웃콤이 충분히 생기지 않으면 차이를 볼 수 없는게 당연하다. 그래서 차이가 없는게 그닥 중요한 것은 아니다.
Q. 처방변화도 기대하고 있나?
사실 대학병원급에서는 테노포비르 처방이 압도적으로 많다. 약제 판매율이 그것을 증명한다. 의원에서는 반반인 것으로 아는데 초처방에서는 여전이 테노포비어가 많이 처방된다고 본다. 가장 중요한 점은 엔테카비르가 더 많이 간암을 발생시키는 것은 아니라는 점이다. 엔테카비르도 간암 발생을 많이 줄이는 약물로 우수한 약이지만 간암 발생에서는 차이가 있다는 점을 강조하고 싶다.