인하대, 말로 설명한 대상을 영상 속에서 추적하는 AI 기술 개발

- 초기 위치 지정 없이 자연어만으로 영상 속 대상 추적

- 지능형 CCTV·로봇·드론 등 다양한 영상 인공지능 분야 활용 가능

인하대학교(총장 조명우)는 배승환 전기컴퓨터공학과 교수가 이끄는 연구팀이 사용자가 말로 설명한 대상을 영상 속에서 추적하는 인공지능 기술을 개발했다고 2일 밝혔다.

(사진 왼쪽 위부터) 배승환 전기컴퓨터공학과 교수, 박대현 박사과정 학생, 백민아 통합과정 학생, 하정훈 통합과정 학생, 박찬섭 석사과정 학생, 잠시드전 가니에브 통합과정 학생

기존 영상 객체 추적 기술은 보통 첫 화면에서 사람이 추적할 대상을 직접 지정해야 한다. 하지만 실제 환경에서는 사용자가 매번 정확히 대상을 지정하기 어렵고, 영상 중간에 추적 대상이 변경될 수 있다.

연구팀은 이러한 한계를 해결하기 위해 자연어 설명만으로 대상을 추적하는 기술을 제안했다. 사용자가 문장으로 대상을 묘사하면 인공지능이 영상 속에서 해당 설명과 가장 잘 맞는 대상을 찾아 추적한다.

이번 연구의 핵심은 인공지능이 현재 추적 결과를 얼마나 믿을 수 있는지 스스로 판단하도록 한 점이다. 대상이 뚜렷하게 보일 때는 주변 영역만 집중적으로 탐색해 안정적으로 추적하고, 대상이 가려지거나 비슷한 물체가 많아 추적 모호성이 높은 상황에서는 화면 전체를 다시 확인해 대상을 찾는다.

또한 사용자가 영상 중간에 설명을 바꾸면 추적 대상도 자연스럽게 바꿀 수 있게 했다. 고정된 이미지 예시에 의존하지 않고, 언어 설명만으로 추적 대상을 정할 수 있다는 점에서 의미가 있다.

연구팀은 이번에 개발한 기술이 기존 방법보다 우수한 추적 성능을 보인다는 점을 여러 공개 데이터셋에서의 실험을 통해 확인했다. 연구에서 제안한 마진 신뢰도 기반 추적 전략이 왜 효과적으로 동작하는지에 대한 이론적 분석도 함께 제공해 기술의 타당성을 뒷받침했다.

해당 기술은 지능형 CCTV, 로봇, 드론, 영상 검색, 사람-인공지능 상호작용 등 다양한 분야에 활용될 수 있을 것으로 기대된다.

박대현·백민아·하정훈·박찬섭·잠시드전 가니에브 학생으로 구성된 연구팀은 배승환 교수의 지도 아래 이번 연구 성과를 달성했다. 최근 ‘MVLM: Template-Free Tracking via Vision–Language Margin Confidence and Memory-Gated Tracking’이라는 제목의 논문으로 연구 결과를 컴퓨터 비전 분야 세계 최고 권위 학술대회인 CVPR 2026에서 발표했다.

연구책임자인 배승환 인하대 전기컴퓨터공학과 교수는 “이번 연구는 사용자가 직접 대상을 표시하지 않아도 자연어만으로 영상 속 대상을 추적할 수 있다는 가능성을 보여준 연구”라며 “향후 지능형 영상 분석, 로봇 비전, 온디바이스 AI 등 실제 산업 환경에 적용할 수 있는 기술로 발전시켜 나갈 계획”이라고 말했다.

한편, 이번 연구는 한국연구재단의 우수신진연구, 대학중점연구소지원사업과 정보통신기획평가원의 사람중심 인공지능 핵심원천기술개발 사업의 지원을 받아 진행됐다.