VC Festival

방지환  l  퀄컴코리아 선임연구원

장시간 비디오 질의응답을 위한 효율적 메모리 구축과 에이전트 기반 검색
Abstract

AI 안경과 같은 상시 작동형 비디오 어시스턴트는 수 시간에서 수일 전에 발생한 사건에 대한 질문에도 답변할 수 있어야 한다. 그러나 장시간 비디오 전체를 모델에 입력하는 방식은 높은 연산 비용과 입력 길이의 제약으로 인해 확장성이 제한된다. 이를 해결하기 위해 비디오가 입력되는 동안 메모리를 구축하고, 질문이 주어지면 관련 정보를 검색하여 답변을 생성하는 검색 기반 접근법이 주목받고 있다. 본 발표에서는 이러한 파이프라인을 두 가지 관점에서 살펴본다. 첫 번째는 메모리 기록에 관한 것으로 엣지 디바이스의 제한된 연산 자원에서도 효율적으로 구축할 수 있는 검색 친화적 비디오 메모리 기술을 다룬다. 두 번째는 복잡한 질문에 답변하기 위해 에이전트가 여러 단계에 걸쳐 메모리를 탐색하고 필요한 정보를 수집하는 반복적 검색 기술을 소개한다. 마지막으로 효율적인 메모리 구축과 에이전트 기반 검색을 결합하여 장시간 비디오 질의응답 시스템의 효율성과 정확도를 함께 향상시킬 수 있는 가능성과 향후 연구 방향을 논의한다.