안녕하세요, 제시예요. 오늘은 좀 색다른 이야기를 가져왔어요. AI가 눈과 귀를 헷갈려서 없는 걸 봤다고 우기는 문제, 들어보신 적 있나요? 2026년 7월 31일, KAIST 연구팀이 이 문제를 재학습 없이 고치는 기술 두 가지를 CVPR 2026과 IEEE Transactions on Image Processing에 발표했다는 소식이 나왔어요. 오늘은 이 이야기를 풀어드릴게요.
멀티모달 AI가 헷갈리는 이유
먼저 용어 하나 짚고 갈게요. 최근 AI 모델들은 텍스트만 읽는 게 아니라 이미지, 영상, 소리까지 한꺼번에 이해해요. 이런 모델을 **멀티모달 대형 언어모델(MLLM)**이라고 불러요. 사람으로 치면 눈과 귀, 감각을 동시에 쓰는 셈이죠.
문제는 감각이 늘어날수록 헷갈릴 거리도 늘어난다는 거예요. KAIST 전기및전자공학부 노용만 교수 연구팀(정상윤 박사과정, 유영준 박사)이 짚은 것도 정확히 이 지점이에요. AI가 열화상, 깊이 영상, 엑스레이처럼 눈으로 보는 사진과 완전히 다른 방식으로 찍힌 이미지를 받으면, 그 안의 밝기나 색을 일반 사진처럼 오해하기 시작해요. 열화상에서 밝게 나온 부분을 빛이 비친 곳이라고 착각하는 식이에요. 실제로는 뜨거운 것일 뿐인데요.
기술 하나, DNA: 센서마다 다른 말투를 가르친다
이 문제를 잡는 첫 번째 기술이 DNA(Diverse Negative Attributes) 최적화 기법이에요. 이름만 보면 생물학 같지만 전혀 다른 이야기예요. 센서마다 같은 밝기, 같은 색이라도 뜻하는 바가 다르다는 걸 AI에게 명시적으로 가르치는 방법이라고 보면 돼요.
비유하자면 이런 거예요. 사람도 온도계 눈금과 저울 눈금을 같은 방식으로 읽지 않잖아요. 숫자는 둘 다 그냥 숫자지만, 온도계의 30은 저울의 30과 완전히 다른 뜻이니까요. DNA 기법은 AI에게 이 센서의 숫자가 무슨 뜻인지를 소규모 데이터만으로 각인시켜서, 열화상은 열화상답게, 깊이 영상은 깊이 영상답게 읽게 만들어요. 어둠 속이나 연기 속에서도 사물을 알아보는 정확도가 여기서 나와요.
기술 둘, MAD: 지금은 어느 감각을 믿어야 할지 고른다
두 번째 기술 **MAD(Modality-Adaptive Decoding)**는 조금 더 재밌는 문제를 다뤄요. 영상에는 자동차가 지나가는데 소리 트랙에는 아무 소리도 없다고 해볼게요. 그런데 AI가 엔진 소리가 들린다고 답을 만들어내는 경우가 있어요. 눈으로 본 정보가 귀로 듣지 못한 정보를 밀어붙이면서 없는 소리를 지어낸 거예요. 이게 바로 **환각(hallucination)**이에요. 그럴듯하지만 사실이 아닌 답을 자신 있게 내놓는 현상이요.
MAD는 AI가 답을 만들기 전에 이 질문이 영상에 기대야 하는지, 소리에 기대야 하는지부터 먼저 판단하게 해요. 중요한 감각에는 무게를 더 싣고, 상관없는 감각은 줄이는 방식이에요. 사람이 시끄러운 자리에서 입 모양을 보고 대화를 알아듣는 것과 비슷한 원리라고 보면 이해가 쉬워요.
왜 재학습 없이가 핵심인가
이 두 기술에서 제일 눈에 띄는 대목은 대규모 재학습이 필요 없다는 점이에요. 요즘 대형 모델 하나를 처음부터 다시 학습시키려면 GPU 비용만 어마어마하게 나가요. 그런데 이 방식은 기존에 이미 학습된 모델에 소규모 데이터로 보정을 얹는 접근이라, 현장에 이미 깔려 있는 AI 시스템에도 적용할 길이 열려요. 자율주행차, 화재 현장의 구조 로봇, 열화상 드론, CT나 MRI 같은 의료 영상 분석, 공항 보안검색 장비처럼 이미 돌아가고 있는 시스템에 곧바로 얹을 수 있다는 뜻이에요.
신뢰할 수 있는 AI로 가는 길
AI가 눈부신 성능을 보여줘도, 없는 걸 봤다고 자신 있게 말하는 순간 신뢰는 무너져요. 특히 오늘 살펴본 사례들처럼 판단 하나가 사람의 안전과 직결되는 자리, 그러니까 자율주행이나 응급 구조, 의료 진단 같은 자리에서는 더더욱 그렇죠. 이번 KAIST 연구가 반가운 이유는 성능을 더 올리는 방향이 아니라, AI가 모르면서 아는 척하는 순간을 줄이는 방향이라서예요. 화려한 숫자보다 이런 종류의 발전이 쌓여야 AI를 진짜로 믿고 맡길 수 있는 날이 가까워지지 않을까 싶어요.
참고: KAIST 전기및전자공학부 노용만 교수 연구팀의 멀티모달 AI 감각 혼선·환각 저감 기술(DNA, MAD)은 2026년 7월 31일 보도됐으며, CVPR 2026과 IEEE Transactions on Image Processing에 게재됐습니다. 헤럴드경제, 데일리비즈온 보도(2026년 7월 31일) 참고.
