AI 이미지 생성의 원리와 좋은 프롬프트
AI는 노이즈에서 조금씩 그림을 찾아냅니다. 확산 모델의 원리와 원하는 그림을 얻는 프롬프트 요령을 배웁니다.
한국어English
기준: Google·OpenAI·Stability AI 공식 문서와 공개 논문(Latent Diffusion, CVPR 2022). 2026년 9월에 확인했습니다.
요즘 AI 이미지 생성기의 상당수는 "확산 모델"이라는 방식으로 그림을 만듭니다. 텔레비전의 지지직거리는 화면 같은 노이즈에서 출발해, 설명 글에 맞게 노이즈를 조금씩 걷어 내면서 그림을 드러냅니다. 그래서 같은 문장을 넣어도 매번 조금씩 다른 그림이 나오고, 문장을 어떻게 쓰느냐에 따라 결과가 크게 달라집니다. 이 글에서는 원리를 쉽게 풀고, 원하는 그림에 가까워지는 프롬프트 요령과 AI가 아직 잘 못하는 것, 쓸 때 조심할 점까지 설명합니다.
한눈에 보기
| 항목 | 짧은 정리 |
|---|---|
| 그리는 방법 | 노이즈에서 출발해 여러 번에 걸쳐 노이즈를 걷어 내며 그림을 만듦 |
| 글을 알아듣는 방법 | 언어 모델이 글을 숫자 표현으로 바꿔 그림 만드는 쪽에 전해 줌 |
| 좋은 프롬프트의 뼈대 | 주제 + 배경 + 스타일, 그리고 여러 번 다듬기 |
| 아직 어려운 것 | 그림 속 정확한 글자, 세밀한 배치, 여러 장에서 같은 인물 유지 |
| 조심할 점 | 편향, AI 생성 표시, 저작권 |
비유: 김 서린 유리창 닦기
겨울에 김이 잔뜩 서린 유리창을 생각해 보겠습니다. 처음에는 아무것도 보이지 않습니다. 손으로 한 번 닦으면 흐릿한 윤곽이, 두세 번 더 닦으면 바깥 풍경이 또렷하게 보입니다.
확산 모델은 이 과정을 거꾸로 배운 화가입니다. 다만 창밖에 이미 풍경이 있는 것이 아니라, "창밖에 무엇이 보여야 하는지"를 설명 글에서 듣고, 닦을 때마다 그 설명에 맞는 모습이 드러나도록 조금씩 고쳐 나갑니다. 김(노이즈)을 어디서부터 어떻게 닦느냐가 매번 달라서, 같은 설명을 들어도 풍경이 조금씩 다르게 나옵니다.
원리 1: 망가뜨리는 법을 배운 뒤 거꾸로 되돌리기
Google Research의 설명을 따르면 확산 모델은 세 단계로 배우고 그립니다.
- 학습할 때: 진짜 사진에 노이즈를 조금씩 더해, 세부가 지워지고 완전한 노이즈가 될 때까지 망가뜨립니다.
- 신경망(AI의 계산 구조)이 이 과정을 거꾸로, 곧 노이즈를 한 단계씩 걷어 내는 법을 배웁니다.
- 그림을 만들 때: 순수한 노이즈에서 출발해 배운 대로 조금씩 노이즈를 걷어 내면, 깨끗하고 그럴듯한 그림에 도착합니다.
AI는 어딘가에 저장해 둔 사진을 꺼내 붙이지 않습니다. 수많은 그림을 보며 "그럴듯한 그림은 이렇게 생겼다"는 규칙을 배우고, 그 규칙에 따라 노이즈를 한 단계씩 고쳐 나갑니다.
원리 2: 글을 번역해 주는 언어 모델
"해 질 녘 바닷가를 달리는 강아지"라는 글을 그림으로 옮기려면, 먼저 AI가 글의 뜻을 알아들어야 합니다.
Google의 이미지 생성 연구 Imagen은 이 일을 큰 언어 모델에 맡겼습니다. 구조는 다음과 같습니다.
| 단계 | 하는 일 | 비유 |
|---|---|---|
| 1. 글 이해 | 언어 모델이 글을 숫자 표현(임베딩)으로 바꿈 | 손님의 주문을 주방 언어로 옮기는 통역 |
| 2. 작은 그림 | 확산 모델이 그 표현을 보며 작은 그림(64x64)을 만듦 | 연필로 작은 밑그림 그리기 |
| 3. 키우기 | 다른 확산 모델들이 256, 1024 크기로 차례로 키우며 세부를 채움 | 밑그림을 큰 캔버스에 옮기며 다듬기 |
이 연구에서는 글을 이해하는 언어 모델을 키우는 것이 그림 만드는 부분을 키우는 것보다 더 중요했습니다. 글을 잘 알아들어야 그림도 잘 나온다는 뜻입니다. 언어 모델이 무엇인지는 LLM(대규모 언어 모델)이란 무엇인가에서 다룹니다.
원리 3: 작게 줄여서 계산하기
사진 한 장은 수백만 개의 점(픽셀)으로 이루어져 있어서, 점 하나하나에 확산을 돌리면 계산이 아주 많이 듭니다. 2022년 발표된 잠재 확산 모델(Latent Diffusion) 논문은 이 문제를 이렇게 풀었습니다.
- 그림을 먼저 작은 요약 표현(잠재 공간)으로 압축합니다. 여행 가방을 진공 압축팩에 넣는 것과 비슷합니다.
- 그 작은 공간에서 확산을 돌려 계산량을 크게 줄입니다.
- 마지막에 압축을 풀어 원래 크기의 그림으로 되돌립니다.
- 글 같은 조건은 교차 어텐션(그림을 만들면서 글의 어느 부분을 참고할지 고르는 장치)으로 넣습니다.
이 논문을 바탕으로 한 Stable Diffusion은 2022년 8월 Stability AI가 공개 모델로 배포하면서 널리 알려졌습니다. 공개 당시 그래픽카드 메모리(VRAM) 6.9GB 정도로 돌릴 수 있었는데, 이는 개인용 그래픽카드로도 해 볼 만한 수준이었습니다. 계산을 줄인 설계가 이런 접근성에 한몫했다고 볼 수 있습니다. 그래픽카드 메모리가 왜 중요한지는 VRAM의 뜻에서 다룹니다.
모든 이미지 AI가 똑같은 방식을 쓰지는 않습니다. 회사마다 세부 구조는 다르고 공개하지 않는 경우도 많습니다. 이 글의 원리는 "대표적인 방식"으로 이해하면 됩니다.
좋은 프롬프트의 뼈대: 주제, 배경, 스타일
Google Cloud의 Imagen 프롬프트 가이드는 주제, 맥락(배경), 스타일 세 가지에서 출발하라고 권합니다.
| 요소 | 뜻 | 예 |
|---|---|---|
| 주제 | 그림의 주인공 | 주황색 고양이 한 마리 |
| 배경(맥락) | 주인공이 있는 곳, 시간, 상황 | 햇살 좋은 봄날 정원, 꽃 사이 |
| 스타일 | 그림의 느낌과 기법 | 부드러운 수채화, 파스텔 톤 |
세 가지를 이어 붙이면 이렇습니다.
- 부족한 예:
고양이 - 나은 예:
햇살 좋은 봄날 정원의 꽃 사이에 앉아 있는 주황색 고양이, 부드러운 수채화, 파스텔 톤
요리에 빗대면 "밥 주세요"와 "계란 두 개 넣은 김치볶음밥, 덜 맵게"의 차이입니다. 앞의 주문도 무언가는 나오지만, 원하는 것이 나올지는 운에 맡기게 됩니다.
더 다듬는 네 가지 요령
1. 카메라와 빛을 말해 주기
사진 느낌을 원한다면 사진가처럼 말하세요.
| 항목 | 예 |
|---|---|
| 거리 | 가까이서 찍은 클로즈업, 멀리서 찍은 전경 |
| 빛 | 자연광, 따뜻한 노을빛, 차가운 새벽빛, 극적인 조명 |
| 렌즈 | 작은 것을 크게 담는 접사(매크로), 넓게 담는 광각 |
| 초점 | 배경이 흐릿한 보케, 부드러운 초점, 움직임 흐림 |
2. 미술 양식 이름 대기
"인상주의 회화", "연필 스케치", "평면 일러스트"처럼 널리 알려진 양식 이름을 쓰면 느낌을 빠르게 잡을 수 있습니다.
3. 한 번에 끝내려 하지 않기
핵심 아이디어를 먼저 세우고, 원하는 그림에 가까워질 때까지 다듬고 넓히세요. 처음에는 주제와 배경만 넣고, 결과를 보며 빛, 색, 구도를 하나씩 더하는 편이 원인을 찾기 쉽습니다.
4. 빼고 싶은 것은 따로 적기
일부 도구에는 네거티브 프롬프트(나오지 않았으면 하는 것을 적는 칸)가 있습니다. 이 칸에는 "없이", "하지 마" 같은 말을 붙이지 말고 빼고 싶은 대상만 적는 편이 좋습니다. 예를 들어 "건물 없이"가 아니라 "건물"이라고 적습니다. 프롬프트 전반의 원칙은 프롬프트 잘 쓰는 법에 더 자세히 있습니다.
AI가 아직 잘 못하는 것
아래는 OpenAI가 자사 이미지 모델의 한계로 밝힌 것입니다. 다른 도구를 쓸 때도 비슷한 부분에서 막히는 경우가 많습니다.
| 한계 | 내용 | 대처 요령 |
|---|---|---|
| 글자 | 많이 나아졌지만 글자의 정확한 위치와 선명도는 여전히 어려울 수 있음 | 글자는 짧게 하거나, 그림은 글자 없이 만들고 글자는 나중에 따로 넣기 |
| 일관성 | 여러 장에 걸쳐 같은 캐릭터를 똑같이 유지하기 어려움 | 참고 이미지를 함께 넣기 |
| 배치 | 정해진 자리에 요소를 정확히 놓는 일이 어려울 수 있음 | "왼쪽에 ○○, 오른쪽에 △△"처럼 위치를 분명히 적고 여러 번 시도하기 |
| 시간 | 복잡한 요청은 만드는 데 시간이 걸림 | 간단한 요청으로 먼저 방향 잡기 |
Google의 Imagen 가이드도 그림 속 글자는 25자 이하로 짧게 쓰라고 권합니다.
새로 그리기와 고치기
요즘 이미지 AI는 새로 그리기 외에 고치기도 합니다. OpenAI의 이미지 기능을 예로 들면 이렇습니다.
- 편집: 이미 있는 그림에 "배경을 밤으로 바꿔 줘"처럼 요청해 일부나 전체를 바꿉니다.
- 부분 고치기(인페인팅): 마스크(고칠 곳만 칠한 표시)를 주면 그 부분만 새로 그립니다. 사진의 얼룩만 지우개로 지우고 다시 칠하는 것과 비슷합니다.
- 참고 이미지: 여러 장의 그림을 함께 주고 "이 물건들을 한 장면에 모아 줘"처럼 요청합니다.
- 대화로 다듬기: 결과를 보고 "조금 더 밝게"처럼 이어서 요청합니다.
책임 있게 쓰기: 편향, 표시, 저작권
편향: Google은 Imagen 연구 페이지에서 학습 데이터에 부적절한 내용이 섞여 있었고, 사람을 그릴 때 사회적 편향과 고정관념이 나타났다고 밝혔습니다. 예를 들어 직업이나 외모를 특정 방향으로 치우쳐 그릴 수 있습니다. 사람이 나오는 그림은 결과를 한 번 더 살펴보세요.
AI 생성 표시: Google의 Gemini API로 만든 모든 이미지에는 SynthID라는 보이지 않는 워터마크가 들어갑니다. AI가 만든 그림임을 알 수 있게 하는 기술입니다. 블로그나 발표 자료에 쓸 때는 "AI 생성 이미지"라고 밝혀 두면 읽는 사람의 오해를 줄일 수 있습니다.
저작권: AI로 만든 그림을 누가 소유하는지, 실제 작가의 화풍이나 상표를 흉내 내도 되는지는 나라와 서비스 약관마다 다르고 지금도 논의가 이어지고 있습니다. 상업적으로 쓰기 전에는 쓰는 서비스의 약관을 확인하고, 실제 인물, 로고, 캐릭터를 닮게 만드는 요청은 피하는 편이 안전합니다. 자세한 내용은 AI로 만든 이미지·글의 저작권 기초에서 다룹니다.
정리
| 항목 | 정리 |
|---|---|
| 이미지 AI가 그리는 방법 | 노이즈에서 출발해 설명에 맞게 노이즈를 조금씩 걷어 냄(확산 모델) |
| 매번 결과가 다른 이유 | 출발하는 노이즈가 매번 다름 |
| 프롬프트의 뼈대 | 주제 + 배경 + 스타일, 필요하면 카메라·빛·양식 |
| 한 번에 안 될 때 | 핵심부터 넣고 결과를 보며 하나씩 더하기 |
| 잘 못하는 것 | 정확한 글자, 세밀한 배치, 같은 인물 유지 |
| 조심할 점 | 편향 확인, AI 생성 표시, 저작권과 약관 확인 |
함께 읽기
- AI 영상 생성 입문: 텍스트·이미지로 영상 만들기
- 프롬프트 잘 쓰는 법: 공식 가이드가 말하는 5가지 원칙
- AI로 만든 이미지·글의 저작권 기초
- LLM(대규모 언어 모델)이란 무엇인가
- VRAM의 뜻: 그래픽카드 메모리가 중요한 이유
참고 자료
- Google Research Blog, "High Fidelity Image Generation Using Diffusion Models" (2021-07-16): https://research.google/blog/high-fidelity-image-generation-using-diffusion-models/
- Google Research, "Imagen": https://imagen.research.google/
- Rombach 외, "High-Resolution Image Synthesis with Latent Diffusion Models" (CVPR 2022): https://arxiv.org/abs/2112.10752
- Stability AI, "Stable Diffusion Public Release" (2022-08-22): https://stability.ai/news-updates/stable-diffusion-public-release
- Google Cloud Vertex AI, "Prompt and image attribute guide": https://docs.cloud.google.com/vertex-ai/generative-ai/docs/image/img-gen-prompt-guide
- OpenAI API Docs, "Image generation": https://developers.openai.com/api/docs/guides/image-generation
- Google AI for Developers, Gemini API "Image generation": https://ai.google.dev/gemini-api/docs/image-generation
