[콕스 백과사전] 멀티모달(Multimodal)

멀티모달 기술을 설명하는 이미지 / 사진 제미나이로 생성

멀티모달(Multimodal)을 한마디로 설명하면, 텍스트·이미지·음성·영상 등 서로 다른 형태의 정보를 동시에 이해하고 처리하는 인공지능 기술이다.

초창기 AI는 주로 하나의 데이터 유형만 다뤘다. 예를 들어 텍스트 기반 챗봇은 글만 이해했고, 이미지 인식 모델은 사진만 분석했다. 이를 단일모달(Single Modal) 시스템이라고 부른다.

반면 멀티모달 AI는 사진을 보고 설명을 생성하거나 음성을 듣고 텍스트로 변환한 뒤 내용을 요약하고 영상과 자막을 함께 분석하는 등 여러 정보를 통합적으로 이해한다.

사람은 대화를 할 때 상대의 말(음성)뿐 아니라 표정(이미지), 맥락(텍스트 정보)까지 함께 해석한다. AI도 복합 정보를 처리할 수 있어야 보다 인간에 가까운 판단을 내릴 수 있다. 그래서 멀티모달은 차세대 인공지능 경쟁의 핵심 기술로 평가받는다.

멀티모달 기술은 이미 다양한 분야에서 활용되고 있다. 음성을 듣고 화면 속 정보를 분석해 답변 제공하는 AI 비서, 카메라 영상, 레이더, 센서 데이터를 동시에 분석하는 자율주행차 기술, 영상 촬영 결과와 환자 기록을 함께 분석해 진단을 보조하는 스마트 의료 등이 대표적인 예다.

현재 챗GPT로 생성형 AI 시장을 선도하는 오픈AI는 텍스트뿐 아니라 이미지와 음성을 함께 처리하는 모델을 선보였고, Google 역시 멀티모달 기반 AI 모델 ‘제미나이(Gemini)’를 통해 시장 경쟁에 나서고 있다.