핵심 요약 — 사무 자동화에서 AI 에이전트가 강력한 이유는 단발 응답이 아니라 루프를 돌기 때문입니다. 실행하고, 결과를 스스로 평가하고, 부족하면 고쳐서 다시 시도합니다. 이 루프를 이미지·동영상 생성에도 넣을 수 있을까요? 답은 "이미 들어가고 있다"입니다. 생성기가 만들고 멀티모달 모델(MLLM)이 평가하고 수정기가 지시를 고쳐 재생성하는 닫힌 고리가, 2026년 생성 품질을 끌어올리는 핵심 메커니즘이 되는 중입니다. 이 글은 그 구조와 한계를 공개 연구를 근거로 정리한 트렌드 조사입니다.
1. 질문 — '루프'를 그림과 영상에도 넣을 수 있을까
텍스트 에이전트가 잘하는 일의 정체는 사실 단순합니다. 목표를 받고 → 실행하고 → 결과를 스스로 평가하고 → 부족하면 고쳐서 다시 시도합니다. 기준을 만족하거나 재시도 한계에 닿을 때까지. 이 반복이 한 번의 응답보다 훨씬 좋은 결과를 만듭니다.
그렇다면 자연스러운 질문이 따라옵니다. 같은 루프를 이미지와 동영상 생성에도 넣을 수 있을까요?
짧은 답은 "이미 들어가고 있다"입니다. "한 번 생성하고 끝"이 아니라, 생성물을 평가하고 다시 만드는 닫힌 고리(closed loop)가 연구와 제품 양쪽에서 빠르게 표준이 되고 있습니다.
2. 핵심 구조 — 생성기·평가기·수정기의 3박자
텍스트 에이전트의 평가-개선(evaluator-refine) 루프가 그대로 옮겨옵니다. 다만 "평가"의 대상이 문장이 아니라 픽셀과 프레임입니다.
- 생성기 — 프롬프트를 받아 이미지 또는 영상을 만듭니다.
- 평가기(MLLM) — 결과물을 보고 약점을 진단합니다. 정합성, 지시 충족도, 미적 품질, 영상이라면 장면 간 일관성까지.
- 수정기 — 진단을 프롬프트나 편집 지시로 번역해 다음 시도를 만듭니다.
여기서 결정적인 대목은 평가하는 주체가 사람이 아니라 모델이라는 점입니다. 한 모델이 만들고, 다른 멀티모달 모델이 "손가락 개수가 안 맞는다 / 지시한 객체 수가 다르다 / 구도가 약하다"를 판단합니다. 사람 감독에서 기계 감독(machine-supervised)으로 넘어가는 전환입니다.
3. 이미지 생성 — 이미 작동하는 루프들
연구 레벨에서는 구체적인 형태가 여럿 나와 있습니다.
- Maestro — 에이전트 오케스트레이션으로 텍스트→이미지를 스스로 개선합니다. 멀티모달 LLM 에이전트가 이미지를 비평하고 후보를 서로 비교하며 프롬프트를 여러 라운드에 걸쳐 진화시킵니다.
- Agentic Retoucher — 생성 후 보정을 "지각 → 추론 → 행동"의 닫힌 루프로 재정의합니다. 왜곡을 먼저 추론한 뒤 해당 영역만 표적 인페인팅으로 고칩니다.
- M3 (Multi-Modal · Multi-Agent · Multi-Round) — 학습 없이 에이전트들이 협업해 여러 라운드 시각 추론을 돌립니다. 복합 프롬프트에서 오픈소스 모델이 상용 시스템을 앞서는 결과를 보고했습니다.
- CountLoop — 역시 학습 없이, VLM 기반 기획과 비평을 반복해 "객체 N개" 같은 까다로운 수량 지시를 충족시킵니다.
- 반복 정제(iterative refinement) — 비전-언어 모델의 피드백을 받아 생성을 점진적으로 다듬는 테스트 타임 전략으로, 다중 객체 프롬프트의 구성 정확도를 끌어올립니다.
공통점이 하나 있습니다. 단순 점수(scalar reward)보다 "무엇을 어떻게 고칠지"라는 구체적 편집 신호가 루프의 질을 좌우한다는 것입니다. 7점이라는 숫자보다 "왼손 손가락이 여섯 개다"가 훨씬 쓸모 있습니다.
위 그림은 이 과정을 개념적으로 옮긴 것입니다. 회차마다 평가기가 항목별로 통과·주의·실패를 매기고, 실패한 항목만 다음 회차의 수정 지시가 됩니다.
주의할 함정 — 다양성 붕괴
자동 루프에는 분명한 그림자가 있습니다. 2025년 12월 Patterns에 실린 연구는 SDXL(이미지 생성)과 LLaVA(이미지 설명)를 이미지→텍스트→이미지로 잇는 자율 루프를 만들고, 서로 다른 프롬프트와 7가지 온도 설정으로 700개의 궤적을 각 100회씩 돌렸습니다.
결과는 거의 모든 궤적이 12개의 뻔한 시각 모티프로 수렴했습니다. 폭풍우 속 등대, 화려한 대저택 실내 같은 "상업적으로 안전한" 이미지들이었고, 연구진은 이를 시각적 엘리베이터 음악이라고 불렀습니다. 루프를 1,000회까지 늘려도 대체로 100회 근처에서 안정화됐다가 수백 스텝 뒤 다른 모티프로 점프하는 정도였습니다.
즉 사람의 개입이 없는 무한 자가 루프는 다양성 붕괴(mode collapse)로 흐릅니다. 루프에 다양성 가드와 휴먼 체크포인트가 필요한 이유가 여기 있습니다. 루프는 품질을 올리는 도구이지, 방향을 정해주는 도구가 아닙니다.
4. 동영상 생성 — 루프가 더 절실한 곳
동영상에는 시간 축이 있습니다. 그래서 "장면 간 일관성"이라는 난제가 하나 더 붙고, 한 번 잘못 뽑으면 버리는 비용도 훨씬 큽니다. 루프의 가치가 이미지보다 큰 이유입니다.
- 다중 에이전트 반복 프레임워크 — 비디오 생성기 + 평가기 + 지시 수정기의 3요소 구조. 매 반복마다 생성 → 평가(점수와 코멘트) → 지시 수정 → 재생성을 돕니다.
- 자동 품질 평가 엔진 — AIGVE-MACS는 아홉 개 평가 축에 대해 점수와 자연어 코멘트를 함께 내놓도록 학습된 모델이고, MSG Score는 다중 장면 영상의 검증을 계층적 지표로 자동화합니다. 후보를 랭킹·선별하고, 품질이 낮으면 프롬프트를 자동 보정하는 데 쓰입니다.
- 창작자 모방형 피드백 루프 — 관객을 대변하는 피드백 에이전트가 결과를 평가하고, 피드백 번역기가 이를 실행 가능한 이슈로 바꾸고, 리파이너가 다음 회차 프롬프트를 갱신합니다.
관건은 속도였습니다. 정밀한 평가 도구는 무거워서 실시간 루프에 쓰기 어려웠는데, 가볍고 빠른 평가 엔진이 그 간극을 메우면서 "생성–검토–반복" 사이클이 분 단위에서 초 단위로 줄고 있습니다. 업계에서 동영상 AI가 생산 도구에서 창작 악기로 바뀐다는 표현이 나오는 배경입니다.
5. 왜 텍스트보다 어려운가 — 그리고 왜 여전히 가능한가
| 항목 | 텍스트 루프 | 이미지·영상 루프 |
|---|---|---|
| 평가 | 비교적 쉬움 (맞다·틀리다, 형식 충족) | "좋은 그림"의 기준이 주관적·다차원 |
| 비용 | 빠르고 가벼움 | 생성과 평가가 모두 무겁고 느림 |
| 피드백 반영 | 텍스트로 바로 반영 | 프롬프트·편집 신호로 번역 필요 |
이 난점들은 루프의 부품을 분업화하는 방향으로 풀리고 있습니다. 미적 판단은 MLLM 비평가가, 수량·지시 충족 같은 사실 정합성은 전용 검증기가, 영상 일관성은 장면 검증 점수가 맡는 식입니다. 평가를 잘게 쪼개 각자 잘하는 모델에 맡기면, "주관적이라 자동화가 안 된다"는 벽이 부문별로 낮아집니다.
6. XBRUSH 관점 — 지금 크리에이터가 돌리는 루프
여기까지가 연구 이야기라면, 실무에서는 이미 같은 루프가 사람 손으로 돌아가고 있습니다. 프롬프트를 쓰고, 나온 결과를 보고, 마음에 안 드는 부분을 고쳐 다시 생성합니다. 위 논문들이 자동화하려는 대상이 정확히 이 반복 노동입니다.
그래서 지금 단계에서 실제로 효과가 있는 건 루프 한 바퀴의 시간을 줄이는 것입니다. XBRUSH는 이미지·영상·오디오를 한 워크스페이스에서 다루는 AI 크리에이티브 플랫폼입니다. 도구를 오가지 않고 한 자리에서 생성하고, 결과를 보고, 조건을 바꿔 다시 돌리는 흐름 자체가 루프의 회전 속도를 결정합니다.
실무에서 바로 적용할 수 있는 세 가지를 정리하면 이렇습니다.
- 평가 기준을 미리 문장으로 적어두기 — "손가락 개수, 로고 위치, 인물 수"처럼 체크리스트를 먼저 정해두면 재생성 지시가 구체적인 편집 신호가 됩니다. 막연히 "좀 더 좋게"는 루프를 돌려도 개선되지 않습니다.
- 고정할 것과 흔들 것을 나누기 — 페르소나와 레퍼런스 이미지로 인물·톤을 고정하고, 구도와 배경만 회차마다 바꿉니다. 전부 다시 뽑으면 매 회차가 처음부터입니다.
- 사람의 체크포인트를 남겨두기 — 후보 생성과 1차 선별은 반복으로 돌리되, 방향 결정은 사람이 쥡니다. 앞의 다양성 붕괴 연구가 보여준 그대로입니다.
7. 그래서 어디까지 오나
- 단기 — 사람이 최종 선택과 방향을 쥐고, 루프가 후보 생성·1차 선별·표적 보정을 자동화합니다(human-in-the-loop).
- 중기 — 평가 엔진이 빨라지면서 초 단위 루프로. "원하는 느낌"만 주면 수십 개 후보를 돌려 상위안을 추려 오는 방식이 됩니다.
- 한계 — 무한 자가 루프의 다양성 붕괴, 평가기의 미적 편향, 연산 비용. 가드레일과 휴먼 체크포인트는 계속 필요합니다.
정리하면, 루프 개념은 이미지·동영상에 적용 가능한 정도가 아니라 이미 생성 품질을 끌어올리는 핵심 메커니즘으로 자리 잡는 중입니다. 질문은 "루프를 돌릴 수 있나"에서 "평가기를 얼마나 똑똑하고 빠르게 만드나"로 옮겨갔습니다.
자주 묻는 질문
이미지·동영상 생성에도 에이전트 루프를 적용할 수 있나요?
적용할 수 있으며 이미 진행 중입니다. 생성기 → 평가기(MLLM) → 수정기가 기준을 충족할 때까지 반복하는 닫힌 루프가 Maestro, M3, CountLoop, Agentic Retoucher 같은 공개 연구로 구현돼 있고, 동영상 쪽에서도 생성기·평가기·지시 수정기의 다중 에이전트 구조가 나와 있습니다.
평가는 누가 하나요? 미적 판단도 자동화되나요?
사람이 아니라 멀티모달 모델이 평가합니다. "좋은 그림"의 판단은 주관적이지만, 정합성·지시 충족·장면 일관성·미적 품질을 나눠서 각 전용 모델에 맡기는 방식으로 자동화 범위가 넓어지고 있습니다. 이때 단순 점수보다 "무엇을 어떻게 고칠지"라는 구체적 편집 신호를 만들어내는 평가기가 루프의 질을 좌우합니다.
자동 생성 루프에 위험은 없나요?
있습니다. 2025년 12월 Patterns에 실린 연구는 SDXL과 LLaVA를 자율 루프로 700개 궤적, 각 100회 반복시킨 결과 거의 모든 궤적이 폭풍우 속 등대 같은 12개의 뻔한 시각 모티프로 수렴했다고 보고했습니다. 사람 개입 없는 무한 자가 루프는 다양성 붕괴로 흐를 수 있고, 평가기의 미적 편향과 연산 비용 문제도 있습니다. 다양성 가드와 휴먼 체크포인트가 필요합니다.
동영상이 이미지보다 어려운 이유는 무엇인가요?
시간 축 때문에 장면 간 일관성이라는 과제가 추가되고, 생성과 평가가 모두 더 무겁기 때문입니다. 대신 한 번 잘못 뽑았을 때의 비용이 크기 때문에 루프 자동화의 가치도 그만큼 큽니다. AIGVE-MACS나 MSG Score처럼 품질과 일관성을 함께 채점하는 평가 엔진이 이 자리를 메우고 있습니다.
지금 실무에서 이 루프를 어떻게 활용하면 되나요?
평가 기준을 미리 체크리스트로 적어 재생성 지시를 구체화하고, 페르소나와 레퍼런스로 고정할 요소와 회차마다 바꿀 요소를 나누고, 방향 결정에는 사람의 체크포인트를 남기는 것입니다. XBRUSH처럼 이미지·영상·오디오를 한 워크스페이스에서 다루면 생성-확인-재생성 한 바퀴에 걸리는 시간이 짧아집니다.
참고 자료
- Maestro: Self-Improving Text-to-Image Generation via Agent Orchestration — arXiv 2509.10704
- Agentic Retoucher for Text-To-Image Generation — arXiv 2601.02046
- M3: High-fidelity Text-to-Image Generation via Multi-Modal, Multi-Agent and Multi-Round Visual Reasoning — arXiv 2602.06166
- Iterative Refinement Improves Compositional Image Generation — arXiv 2601.15286
- CountLoop: Training-Free High-Instance Image Generation via Iterative Agent Guidance — arXiv 2508.16644
- Autonomous language-image generation loops converge to generic visual motifs — Patterns (Cell), 2025-12
- AIGVE-MACS: Unified Multi-Aspect Commenting and Scoring Model for AI-Generated Video Evaluation — arXiv 2507.01255
- MSG Score: Automated Video Verification for Reliable Multi-Scene Generation — arXiv 2411.19121
- Creator-Inspired Agentic Framework with Iterative Feedback Loop for Short-form Generation — arXiv 2504.18805
- 평가-반성-개선 루프 패턴 — AWS Prescriptive Guidance
이 글은 2026년 8월 기준 공개 연구·업계 자료를 바탕으로 정리한 트렌드 조사입니다. 인용한 수치와 논문 제목은 발행 시점에 원 출처로 재확인했으나, 이 분야는 변동이 잦으므로 활용 전 각 출처를 다시 확인하시기 바랍니다. 본문 다이어그램은 개념 설명용이며 실측 결과물이 아닙니다.