본 프로젝트는 메타버스와 같은 다문화적 상호작용 환경에서 발생할 수 있는 제스처 의미의 문화적 차이를 이해하고, 이를 기반으로 소통 오류와 갈등을 최소화할 수 있는 인공지능 기술을 개발하는 것을 목적으로 한다. 기존 제스처인식 기술은 형태적 정확도에 주로 초점을 맞추었으며, 문화적 맥락을 충분히 반영하지 못해 글로벌 환경에서의 활용에 한계가 있었습니다. 이를 극복하기 위해 본 연구는 입력 이미지에서 제스처를 추출하는 Vision Model을 전처리 단계에 포함시키고, 추출된 정보를 비전-언어 모델(Vision-Language Models, VLM)과 Finetuning 그리고 RAG(Retrieval-Augmented Generation) 기반 문화 지식베이스와 결합하여 제스처를 문화적 맥락 속에서 해석하는 파이프라인을 구축합니다. 연구 수행 과정에서는 메타버스 환경에서의 제스처 인식을 위한 데이터셋을 제작하고, 문화적 맥락 반영을 위한 문서 지식베이스와 시스템 프롬프트를 구축합니다. 이를 바탕으로 제스처 해석 모델을 개발하며, 원본 모델과의 비교평가를 통해 성능 및 효과성을 검증합니다. 본 연구의 결과는 메타버스에서의 상호작용뿐 아니라, 글로벌 협업 및 교육 환경에서 발생할 수 있는 비언어적 오해를 줄이고 문화적으로 포용적인 소통을 지원하는 기반 기술로 활용될 수 있을 것입니다.