핵심 요약 — LLM은 이미 긴 글에서도 문맥과 주인공을 놓치지 않을 만큼 발전했지만, 멀티모달(이미지·영상) 생성은 여전히 컷 사이 인물 일관성, 매끄럽지 못한 전환, 어색한 물리 같은 문제를 안고 있습니다. 이 두 문제는 사실 같은 뿌리 — "긴 맥락에서 정체성을 유지하는 어텐션" — 에서 나옵니다. 그리고 2025년부터는 AI 에이전트가 직접 신경망 구조를 설계·발견하는 흐름(ASI-Arch, AlphaEvolve)이 본격화됐습니다. 이 글은 "AI가 AI를 설계하는" 방식이 멀티모달의 일관성 문제 해결로 이어지고 있는지, 공개 리서치를 근거로 정리한 트렌드 조사입니다.
1. 문제 제기 — 글은 주인공을 지키는데, 영상은 왜 못 지킬까
텍스트 생성은 임계점을 넘었습니다. 수만 토큰짜리 문서에서도 LLM은 앞에서 정한 인물의 이름·성격·말투를 뒤까지 유지하고, 이미 쓴 글을 받아 문맥에 맞게 탈고합니다. 이것을 가능하게 한 건 결국 어텐션(attention) — 멀리 떨어진 토큰끼리도 관계를 계산해 "지금 이 문장의 주인공이 누구인지"를 놓치지 않는 메커니즘입니다.
멀티모달도 원리는 다르지 않습니다. 영상에서 "3초 전 프레임의 그 사람과 지금 프레임의 이 사람이 같은 인물"이라는 걸 유지하는 것은, 텍스트에서 주인공을 유지하는 것과 정확히 같은 종류의 문제입니다. 다만 차원이 훨씬 크고(픽셀 × 프레임), 실패가 눈에 확 띌 뿐입니다.
2026년 현재 멀티모달 생성이 여전히 씨름하는 대표적 약점은 넷입니다.
컷·클립 사이 인물 일관성 — 얼굴, 헤어, 의상, 체형이 장면이 바뀔 때 미묘하게 달라짐
전환의 매끄러움 — 클립을 이어 붙이면 움직임·조명·카메라가 튐(flickering, jump cut)
물리·해부학적 자연스러움 — 손가락, 관절, 물체 상호작용의 붕괴
긴 서사 유지 — 10초를 넘어 몇 분 단위로 가면 스토리·인물 아크가 무너짐
리서치 문헌은 이 병목의 원인을 분명히 짚습니다. 현재 주류 백본은 대부분 2D-native이기 때문에, 시간적으로 일관된 영상을 만들려면 별도의 시간축 어텐션(temporal attention) 모듈이나 스무딩 장치를 덧붙여야 하고, 그러지 않으면 깜빡임과 아티팩트가 생깁니다. (Zylos Research)
즉, 멀티모달의 "주인공 유지"는 마법이 아니라 아키텍처 설계 문제입니다. 그리고 바로 이 지점에서 두 번째 트렌드가 맞물립니다.
2. AI가 AI를 설계하기 시작했다 — ASI-Arch와 AlphaEvolve
2025년의 가장 큰 변화 중 하나는, 신경망 구조를 사람이 아니라 AI 에이전트가 발견하기 시작했다는 것입니다. 전통적인 NAS(Neural Architecture Search)가 사람이 정해둔 탐색 공간 안에서 최적값만 고르던 것과 달리, 최신 시스템은 사람이 떠올리지 못한 구조 자체를 발명합니다.
ASI-Arch — "아키텍처 발견의 알파고 모먼트"
2025년 7월 공개된 ASI-Arch는 사람 개입 없이 신경망 아키텍처를 만들어내는 자율 연구 시스템입니다. LLM을 에이전트로 삼아 세 역할 — Researcher(가설)·Engineer(구현)·Analyst(분석) — 로 나누고, 스스로 아키텍처를 가설화→구현→학습→실증합니다.
약 20,000 GPU시간 동안 1,773회의 자율 실험을 수행
106개의 신규 SOTA 선형 어텐션(linear-attention) 아키텍처를 발견
이들은 사람이 설계한 기준 모델을 능가
무엇보다 발견 속도가 투입 연산량에 선형 비례 — GPU 시간을 2배 주면 좋은 모델을 2배 더 찾음
논문 제목부터 "AlphaGo Moment for Model Architecture Discovery"입니다. 인간 연구 역량이 선형적으로만 늘어나는 병목을, 연산으로 스케일되는 자율 발견으로 돌파하겠다는 선언입니다. (arXiv 2507.18074)
이 선형성이 이 글에서 가장 중요한 대목입니다. 지금까지 아키텍처 개선의 속도는 연구자 수에 묶여 있었습니다. 그것이 투입 연산에 묶이면, 개선 주기를 돈과 GPU로 앞당길 수 있다는 뜻이 됩니다.
AlphaEvolve — 알고리즘 자체를 진화시키는 코딩 에이전트
2025년 5월 구글 딥마인드가 공개한 AlphaEvolve는 Gemini 기반의 진화형 코딩 에이전트입니다. 단일 함수가 아니라 프로그램 전체를 반복적으로 진화시키고, 자동 평가기로 성능을 검증합니다.
4×4 복소 행렬곱을 기존보다 적은 연산으로 계산하는 알고리즘을 발견 — 1969년 이래 서 있던 기록을 갱신
발견한 알고리즘이 구글의 데이터센터·칩 설계·AI 학습 파이프라인에 실제로 배포
두 사례의 공통점은 명확합니다. 탐색·구현·평가 루프를 에이전트에게 맡기면, 연산을 부어 넣는 만큼 사람이 못 찾던 구조가 나온다. 그리고 ASI-Arch가 발견한 것이 하필 어텐션 계열 구조라는 점이 이 글의 주제와 정확히 연결됩니다.
3. 그렇다면 멀티모달에도 쓰이고 있나 — 조사 결과
결론부터: 직접적으로, 대규모로 멀티모달 생성 백본을 자율 발견하는 사례는 아직 전면에 드러나지 않았습니다. 2025~2026년의 자율 아키텍처 발견은 주로 언어 모델의 선형 어텐션 영역에 집중돼 있습니다. 하지만 세 갈래의 정황은 강하게 수렴합니다.
① 발견의 대상이 바로 '일관성을 담당하는 부품'이다
ASI-Arch가 찾아낸 것은 선형 어텐션 아키텍처입니다. 그런데 영상의 인물 일관성을 좌우하는 것이 바로 시간축 어텐션과 긴 문맥(long-context) 처리입니다. 리서치는 10~20분 분량에서도 플롯과 인물 아크를 유지하는 Long-Context Video Transformer를 다음 단계로 지목하고 있습니다. 즉 자율 발견이 지금 잘하는 영역(효율적 어텐션)과, 멀티모달이 가장 목마른 영역(장문맥 일관성)이 같은 곳입니다. (Long Context Tuning for Video Generation, arXiv 2503.10589)
② 멀티모달 자체가 '추론하는 에이전트'로 재정의되고 있다
차세대 모델은 텍스트·이미지·영상을 자유롭게 엮는 멀티모달 컴포지션과, 사용자의 복잡한 의도를 추론하는 능동적 에이전트 성격을 결합하는 방향으로 갑니다. "영상 생성을 멀티모달 추론의 패러다임으로 본다"는 연구도 나왔습니다. 생성 파이프라인 안에 에이전트적 판단이 들어오는 흐름입니다. (Thinking with Video, arXiv 2511.04570)
③ NAS와 생성모델의 결합은 방법론적으로 이미 존재한다
그래프 확산(graph diffusion) 기반 NAS처럼, 아키텍처 탐색에 생성모델을 쓰는 연구가 축적돼 있습니다. 도구는 준비돼 있고, 남은 것은 이 방법론을 멀티모달 생성 백본에 스케일로 적용하는 일입니다. (Multi-conditioned Graph Diffusion for NAS, arXiv 2403.06020)
정리하면 — "AI 에이전트가 멀티모달 백본을 자율 설계한다"는 아직 초입이지만, 재료·동기·방법이 모두 갖춰진 상태입니다. ASI-Arch식 접근을 멀티모달로 확장하는 것은 기술적 도약이 아니라 시간·연산의 문제로 보입니다.
4. 그 사이, 인물 일관성은 제품 레벨에서 이렇게 풀리고 있다
아키텍처 자율 발견이 무르익는 동안, 상용 모델들은 엔지니어링으로 일관성 문제를 실전 수준까지 끌어올렸습니다. 이것이 오늘 당장 크리에이터가 쓸 수 있는 현실입니다.
모델 | 레퍼런스 이미지 | 인물 일관성 | 강점 |
|---|---|---|---|
Nano Banana Pro | 최대 14장 | 파인튜닝 없이 한 장면 최대 5인 | 스토리보드·캠페인처럼 같은 인물이 여러 이미지에 반복 등장하는 작업 |
Seedream 4.5 | 최대 10장 | 별도 수치 없음 | 소스 이미지를 주면 피사체 디테일을 보존하는 멀티이미지 편집 |
두 모델의 성격이 갈리는 지점은 분명합니다. 없는 인물을 여러 컷에 반복 등장시키는 작업이라면 Nano Banana Pro 쪽이고, 이미 있는 소스를 살려 편집하는 작업이라면 Seedream 쪽입니다. (fal, Nano Banana vs Seedream)
그리고 모델과 무관한 공통 기법이 하나 있습니다. 특정 seed 값을 고정해 여러 클립에 걸쳐 인물을 유지하는 방식으로, 사실상 표준으로 자리 잡았습니다.
2026년 초 기준 선도 영상 모델들은 8~20초 길이의 네이티브 해상도 클립을, 동기화된 오디오·그럴듯한 물리·컷 간 일관 인물과 함께 생성합니다. 완벽하진 않지만, 1년 전과 비교하면 "주인공 유지"는 이미 실무에 쓸 만한 지점에 도달했습니다. (WaveSpeed)
5. XBRUSH 관점 — 크리에이터에게 이것이 의미하는 것
XBRUSH는 이미지·영상·오디오를 한 워크스페이스에서 다루는 AI 크리에이티브 플랫폼입니다. 위 트렌드를 실무 언어로 옮기면 셋입니다.
1. "주인공 유지"는 이제 기능이 아니라 워크플로우다
브랜드 모델·마스코트·제품을 여러 컷에 일관되게 등장시키는 것이, 레퍼런스 이미지와 seed 관리로 가능한 시대입니다. 광고 한 편이 아니라 캠페인 전체를 같은 얼굴로 찍을 수 있습니다.
XBRUSH AI 스튜디오의 씨네마가 이 흐름을 그대로 구현합니다. 등록해 둔 페르소나를 고르고, 레퍼런스 이미지를 함께 올리고, 아이디어를 한 줄 쓰면 그 인물이 출연하는 광고 영상이 만들어집니다.
결과물은 배경도 상황도 전혀 다른데, 등장하는 인물은 같습니다. 콘서트 무대, 도심, 실내 클로즈업이 한 페르소나로 이어집니다.
2. 아키텍처의 발전은 곧 '손이 덜 가는' 일관성으로 온다
지금은 seed·레퍼런스로 사람이 챙기는 부분이, 장문맥 어텐션이 성숙하면 모델이 알아서 유지하는 방향으로 넘어갑니다. 크리에이터가 관리해야 할 변수가 줄어든다는 뜻입니다.
3. AI가 AI를 설계하는 흐름은 도구 발전 속도 자체를 바꾼다
발견이 연산에 선형 비례한다면, 멀티모달 품질 개선도 과거의 "연구자 수"가 아니라 "투입 연산"으로 스케일됩니다. 크리에이터 입장에선 개선 주기가 짧아진다는 뜻입니다. 반년 전에 안 되던 것이 지금 되는 경험이 더 자주 반복됩니다.
한 줄로: 글에서 주인공을 지키는 어텐션과, 영상에서 인물을 지키는 어텐션은 결국 같은 문제이고, 그 구조를 이제는 AI 에이전트가 스스로 찾기 시작했습니다. 멀티모달의 일관성 문제는 "언젠가"가 아니라 "스케일되는 중"입니다.
자주 묻는 질문
AI 에이전트가 신경망을 직접 설계한다는 게 무슨 뜻인가요?
사람이 정한 후보 안에서 고르는 기존 NAS를 넘어, LLM 기반 에이전트가 스스로 새 아키텍처를 가설·구현·학습·검증하는 것을 뜻합니다. 대표 사례가 2025년 7월 공개된 ASI-Arch로, 20,000 GPU시간·1,773회의 자율 실험으로 사람이 설계한 기준 모델을 능가하는 106개의 신규 SOTA 선형 어텐션 아키텍처를 발견했습니다.
이 방식이 이미지·영상 생성(멀티모달)에도 쓰이고 있나요?
2025~2026년의 자율 발견은 주로 언어 모델의 효율적 어텐션에 집중돼 있고, 멀티모달 생성 백본을 대규모로 자율 설계한 사례는 아직 초입입니다. 다만 발견 대상(어텐션 구조)이 영상 일관성을 좌우하는 부품과 같고, 멀티모달이 에이전트·추론 방향으로 진화 중이며, NAS와 생성모델 결합 방법론도 이미 존재해 확장은 시간·연산의 문제로 보입니다.
영상에서 인물 일관성이 아직 어려운 근본 이유는 무엇인가요?
현재 주류 백본이 2D-native이기 때문입니다. 시간적으로 일관된 영상을 만들려면 별도의 시간축 어텐션 모듈이 필요하고, 그러지 않으면 깜빡임·아티팩트가 생깁니다. 이는 텍스트에서 긴 문맥의 주인공을 유지하는 것과 본질적으로 같은 "장문맥 정체성 유지" 문제입니다.
지금 당장 인물을 일관되게 유지하려면 어떻게 하나요?
seed 값을 고정하고 레퍼런스 이미지를 활용하는 것이 표준입니다. Nano Banana Pro는 레퍼런스를 최대 14장까지 받고 파인튜닝 없이 한 장면에 최대 5인의 일관성을 유지하며, Seedream 4.5는 레퍼런스 최대 10장으로 소스 이미지의 피사체 디테일을 보존하는 편집에 강합니다. XBRUSH 같은 통합 워크스페이스에서는 페르소나를 등록해 두고 레퍼런스와 함께 쓰면, 이 과정을 이미지·영상·오디오 제작 흐름 안에서 함께 관리할 수 있습니다.
AlphaEvolve와 ASI-Arch는 어떻게 다른가요?
AlphaEvolve(구글 딥마인드, 2025년 5월)는 알고리즘·프로그램 전체를 진화시키는 범용 코딩 에이전트로, 행렬곱 최적화 등 수학·인프라 문제에 쓰여 구글 데이터센터·칩·학습 파이프라인에 실배포됐습니다. ASI-Arch는 그중에서도 신경망 아키텍처 발견에 특화된 시스템입니다. 둘 다 "탐색-구현-평가 루프를 에이전트에 맡기면 연산에 비례해 발견이 나온다"는 같은 원리를 공유합니다.
참고 자료
ASI-Arch: AlphaGo Moment for Model Architecture Discovery — arXiv 2507.18074
AlphaEvolve — Google DeepMind 블로그
영상 생성·인물 일관성 병목 — Zylos Research (2026-02), WaveSpeed 2026 가이드
Long-Context 영상 — Long Context Tuning for Video Generation, arXiv 2503.10589
멀티모달 추론·컴포지션 — Thinking with Video, arXiv 2511.04570
NAS × 생성모델 — Multi-conditioned Graph Diffusion for NAS, arXiv 2403.06020
인물 일관성 제품 비교 — fal, Nano Banana vs Seedream
이 글은 2026년 8월 기준 공개 리서치·시장 자료를 바탕으로 정리한 트렌드 조사입니다. 인용한 수치는 발행 시점에 원 출처로 재확인했으나, 이 분야는 변동이 잦으므로 활용 전 각 출처를 다시 확인하시기 바랍니다.