국내 연구팀이 수술장에서 키보드나 마우스 없이 모니터 앞에서 손을 움직여 환자의 의료영상을 자유자재로 제어할 수 있는 프로그램을 개발했다.

서울아산병원 융합의학과 김남국 교수와 의료정보개발팀 박준연 주임이 수술장에서 쓰는 의료 소프트웨어에 동작 인식 기술을 적용한 비접촉 동작인식 프로그램 '제스처 훅(Gesture Hook)'을 최근 개발했다.

이 프로그램은 센서를 통해 들어오는 정보를 인식하는 기술과, 이렇게 인식된 동작을 키보드나 마우스가 작동되는 것처럼 바꿔서 모든 프로그램을 제어할수 있게 하는 후킹(Hooking) 기술을 활용했다.

이를 이용하면 손을 허공에서 움직이고, 두들기고, 주먹을 쥐는 등의 동작으로 키보드나 마우스를 사용하는 것처럼 환자의 검사영상을 확대하고, 회전하고, 밝기·대비·투명도를 조절하며 의료 영상 조회시스템을 제어할 수 있다.

현재 수술장에서는 감염을 최소화하기 위해 환자와 접촉하는 의사가 아닌 수술장 내의 다른 간호사가 마우스나 키보드를 이용해 의사가 요청한 영상을 찾거나 컴퓨터 작업을 대신 진행하는 경우가 일반적이다.

이 경우 의사와 간호사 간의 의사소통 과정을 거쳐야 하기 때문에 영상을 찾는 시간이 늘어나지만 '제스처 훅'을 통해 의료 영상을 찾게 되면 기존보다 빠른 시간에 의사가 원하는 영상을 찾아낼 수 있다.

김남국 교수팀이 두경부 CT(컴퓨터단층촬영) 촬영환자 10명을 대상으로 연구한 결과, '제스처 훅'을 이용한 경우 원하는 영상을 얻는 시간이 평균 5.29초로, 기존방식대로 영상을 찾을 때 필요한 8.54초 보다 약 38% 짧은 시간에 원하는 영상을 얻을 수 있었다. 또한 정확도 면에서도 거의 모든 동작에서 우수한 인식률을 보였다.

'제스처 훅'의 강점은 병원에서 개발한 자체 프로그램뿐만 아니라 일반 컴퓨터에서 사용하는 모든 프로그램에도 적용이 가능하다는 점이다. 현재는 윈도우 기반으로 제작되었지만 향후 맥, 리눅스 등의 다른 운영체제에도 적용할 수 있도록 개발됐다.

추후에는 가상현실 기기와도 연동할 계획인데, 홀로그램 증강현실 기술을 이번 성과에 접목시키면 공중에 떠있는 영상을 자유롭게 제어하는 최첨단 기술도 구현할 수 있을 전망이다.

김남국 교수는 "동작 인식 기술로 의사가 직접 손쉽게 영상을 찾을 수 있다면 수술 과정의 효율성이 높아질 것으로 생각해 비접촉 인터페이스 개발을 추진했다. 수술 과정에서 의사가 필요한 영상을 바로 띄워봄으로써 정확한 집도에도 도움이 되고 감염 예방에도 효과적일 것"이라고 말했다.

이번 성과는 '수술실에서 키보드와 마우스 대신 활용할 수 있는 비접촉 동작인식 인터페이스' 라는 논문으로 '컴퓨터와 수학을 이용한 의학방법론(Computational and Mathematical Methods in Medicine)'에 게재됐으며, '마이너리티 리포트 기술이 수술장과 만나다' 라는 제목으로 국제전기전자기술자협회의 매거진 'IEEE Spectrum' 최근호에 소개됐다.