내 손으로 AI 아티스트를! 스테이블 디퓨전 설치 완벽 가이드 (모든 오류 해결 총정리)

스테이블 디퓨전 설치 완벽 가이드

AI가 그린 그림을 보며 '나도 한번 해보고 싶다'는 부푼 꿈을 안고 스테이블 디퓨전 설치에 도전한 사용자들이 많다. 하지만 알 수 없는 영어 오류 메시지와 까만 명령 프롬프트 창에 부딪혀 좌절하는 경우가 부지기수다.

 

무엇보다 스테이블 디퓨전의 가장 큰 매력은 **'무료'**라는 점이다. 오픈소스 프로젝트로 공개되어 있어 누구나 자유롭게 다운로드하여 자신의 PC에 설치할 수 있다. 이는 월 구독료를 내야 하는 미드저니(Midjourney)와 같은 다른 유료 서비스와 차별화되는 가장 큰 특징이다.

 

스테이블 디퓨전 설치

 

한번 설치해두면 인터넷 연결 없이도, 추가 비용 없이도 무제한으로 이미지를 생성할 수 있으며, 생성된 이미지의 소유권 역시 온전히 사용자에게 있다. 이러한 자유도와 경제성 덕분에 전 세계 수많은 개발자와 아티스트들이 스테이블 디퓨전 설치에 동참하고 있다.

 

그러나 포기하기엔 이르다. 이 글은 수많은 스테이블 디퓨전 설치 오류를 직접 겪고 해결한 경험을 바탕으로, 독자가 첫 AI 이미지를 성공적으로 생성하는 순간까지 안내할 든든한 가이드가 될 것이다. 이 글 하나로 스테이블 디퓨전 설치의 모든 것을 끝낼 수 있다.

 

 

1. 시작 전 준비: 전쟁터에 나서기 전 군장 점검

스테이블 디퓨전 설치(스테이블 디퓨전 생성 이미지들. 페북그룹 제공)

 

 

성공적인 스테이블 디퓨전 설치를 위해서는 사전에 몇 가지 준비물을 꼼꼼히 챙겨야 한다. 마치 전쟁에 나가기 전 군장을 점검하는 것처럼, 아래 항목들이 자신의 PC 환경에 준비되었는지 반드시 확인해야 한다.

 

• 그래픽카드(GPU): NVIDIA 계열 그래픽카드는 필수다. VRAM(비디오 메모리)은 최소 4GB 이상이어야 하며, 원활한 사용을 위해서는 8GB 이상을 강력히 권장한다. VRAM 용량이 클수록 더 크고 복잡한 이미지를 빠르게 생성할 수 있다.
• 필수 프로그램 1 (가장 중요): 파이썬(Python)은 반드시 3.10.6 버전을 설치해야 한다. 최신 버전인 3.11, 3.12 등은 아직 스테이블 디퓨전의 여러 구성 요소와 호환성 문제를 일으키는 주범이다. 스테이블 디퓨전 설치 과정에서 발생하는 오류의 80% 이상이 파이썬 버전 문제에서 비롯된다고 해도 과언이 아니다.
• 필수 프로그램 2: 깃(Git)은 스테이블 디퓨전 WebUI의 소스 코드를 인터넷 저장소(Github)에서 내려받기 위해 필요한 프로그램이다. 설치 과정은 복잡하지 않으므로 기본 설정으로 빠르게 설치하면 된다.
• 충분한 저장 공간: 스테이블 디퓨전은 WebUI 프로그램 자체와 더불어, 그림을 그리는 AI 모델 파일이 상당한 용량을 차지한다. 최소 50GB 이상의 여유 공간을 SSD에 확보하는 것이 좋다. HDD에 설치할 경우 모델을 불러오는 속도가 현저히 저하될 수 있다.

스테이블 디퓨전 설치

2. 스테이블 디퓨전 설치 과정: AI의 집 짓기

 

모든 준비가 끝났다면, 이제 본격적으로 AI의 집을 지을 차례다. 아래 단계를 차근차근 따라오면 누구나 스테이블 디퓨전 설치를 완료할 수 있다.

 

1. WebUI 소스코드 다운로드: 먼저 스테이블 디퓨전 설치를 진행할 폴더를 하나 만든다. (예: C:\stable-diffusion-webui). 이후 해당 폴더의 주소창에 cmd를 입력하고 엔터를 쳐서 명령 프롬프트 창을 연다. 검은 창이 열리면 git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git 명령어를 입력하고 엔터를 누른다. 잠시 후 폴더 안에 수많은 파일이 다운로드된 것을 확인할 수 있다.
2. AI 모델 다운로드: WebUI는 그림을 그리는 도구일 뿐, 실제 그림을 그리는 두뇌 역할을 하는 AI 모델 파일(.safetensors 또는 .ckpt)이 필요하다. 처음 시작하는 단계에서는 가장 표준적인 모델인 'v1-5-pruned-emaonly.safetensors' 와 같은 SD 1.5 기반 모델로 시작하는 것을 추천한다. 이 모델은 비교적 가벼우면서도 준수한 품질의 결과물을 보여준다.
3. 모델 배치: 다운로드한 모델 파일을 stable-diffusion-webui\models\Stable-diffusion 폴더 안으로 이동시킨다. 이 경로가 틀리면 WebUI가 모델을 인식하지 못하므로 정확히 확인해야 한다.
4. 첫 실행 및 자동 설치: 이제 모든 준비가 끝났다. stable-diffusion-webui 폴더 안에 있는 webui-user.bat 파일을 더블 클릭하여 실행한다. 첫 실행 시에는 스테이블 디퓨전 설치에 필요한 수많은 라이브러리(torch, torchvision 등)를 자동으로 내려받고 설치하므로 PC 사양에 따라 10분에서 30분 이상 소요될 수 있다. 인내심을 갖고 기다리는 것이 중요하다.
5. 설치 완료 및 접속: 모든 설치가 성공적으로 끝나면, 명령 프롬프트 창 마지막에 Running on local URL: http://127.0.0.1:7860 라는 메시지가 나타난다. 이 주소를 복사하여 크롬이나 엣지 같은 웹 브라우저 주소창에 붙여넣으면, 드디어 꿈에 그리던 스테이블 디퓨전의 조종석, WebUI 화면을 마주하게 된다. 성공적인 스테이블 디퓨전 설치가 완료된 것이다.

 

 

스테이블 디퓨전 설치

 

3. 우리가 마주할 오류의 벽 (그리고 뛰어넘는 법)

하지만 4번 단계에서 수많은 사용자들이 '오류의 벽'을 마주한다. 괜찮다. 거의 모든 문제에는 이미 해결책이 나와 있다. 아래의 문제 해결 FAQ는 스테이블 디퓨전 설치 과정에서 겪을 수 있는 거의 모든 문제를 해결해 줄 것이다.

Q1. exit code: 9009 또는 Couldn't launch python 오류가 발생해요.

• 원인: 윈도우 운영체제가 python.exe 파일이 어디 있는지 찾지 못하는, 전형적인 '경로(PATH) 설정' 문제다. 스테이블 디퓨전 설치의 가장 기초적인 관문이다.
• 해결책:
  1. [제어판] > [프로그램 추가/제거]에서 설치된 모든 버전의 파이썬을 삭제한다.
  2. 다운로드한 Python 3.10.6 버전 설치 파일을 다시 실행한다.
  3. 설치 첫 화면 하단에 있는 Add Python 3.10 to PATH 체크박스를 반드시 체크하고 설치를 진행한다. 이것이 핵심이다.

Q2. torch, torchvision 등 라이브러리 설치에 실패했다는 오류가 떠요.

• 원인: 스테이블 디퓨전 설치와 호환되지 않는 높은 버전의 파이썬(3.11, 3.12 등)이 설치되어 있기 때문이다.
• 해결책:
  1. Q1과 마찬가지로 제어판에서 설치된 모든 파이썬을 삭제한다.
  2. 반드시 Python 3.10.6 버전을 'Add to PATH' 옵션을 체크하여 설치한다.
  3. 이전 설치 시도 시 생성된 찌꺼기를 제거하기 위해, stable-diffusion-webui 폴더 안에 있는 venv 폴더를 통째로 삭제한다.
  4. webui-user.bat을 다시 실행하여 깨끗한 환경에서 재설치를 시작한다.

 

스테이블 디퓨전 설치

 

Q3. OutOfMemoryError: CUDA out of memory (메모리 부족) 오류가 발생해요.

• 원인: 그래픽카드 메모리(VRAM)가 부족하여 AI 모델을 불러오거나 이미지를 생성할 수 없는 상태다. 특히 4GB~6GB VRAM 환경에서 빈번하게 발생한다. 성공적인 스테이블 디퓨전 설치를 마쳤더라도 이 벽에 부딪힐 수 있다.
• 해결책 (종합 선물 세트):
  • 최적화 옵션 설정: webui-user.bat 파일을 마우스 오른쪽 버튼으로 클릭하여 '편집'으로 연다. set COMMANDLINE_ARGS= 뒷부분에 --lowvram 인수를 추가한다. (VRAM 사용량을 크게 줄이지만 속도는 다소 느려진다.)
  • 해상도 줄이기: WebUI에서 생성할 이미지의 너비(Width)와 높이(Height)를 512x512 이하로 설정한다.
  • 가벼운 모델 사용: SDXL 같은 무거운 모델 대신, SD 1.5 기반 모델을 사용한다.

Q4. NansException (NaN 오류)가 발생해요.

• 원인: 구형 그래픽카드(주로 NVIDIA GTX 10 시리즈)가 저정밀도(FP16) 연산을 처리하다가 숫자가 비정상적인 값(Not a Number)으로 변하며 발생하는 문제다.
• 해결책:
  • webui-user.bat 파일 편집 메뉴에서 set COMMANDLINE_ARGS= 뒷부분에 --no-half 옵션을 추가한다.
  • VRAM도 부족한 상황이라면, --lowvram --no-half 와 같이 여러 옵션을 띄어쓰기로 구분하여 함께 적어주면 된다. 이 옵션은 VRAM을 조금 더 사용하는 대신 연산 안정성을 높여 스테이블 디퓨전 설치 후의 안정적인 구동을 돕는다.

Q5. Stable diffusion model failed to load 오류가 떠요.

• 원인: AI 모델 파일 자체를 불러오는 데 실패한 경우로, 원인은 다양하다.
• 해결책 (체크리스트):
  1. 위치 확인: 모델 파일(.safetensors)이 models\Stable-diffusion 폴더 안에 정확히 있는지 재확인한다.
  2. VRAM 확인: 메모리가 부족해서 모델을 불러오지 못하는 경우가 많다. 위 Q3의 해결책을 적용해 본다.
  3. WebUI 확인: WebUI 화면 왼쪽 상단의 'Stable Diffusion checkpoint' 드롭다운 메뉴에서 내가 사용하려는 모델이 제대로 선택되었는지 확인한다.
  4. 파일 손상 확인: 위 방법으로도 해결되지 않으면 모델 파일이 다운로드 과정에서 손상되었을 수 있으니 다시 다운로드하여 교체한다.

긴 스테이블 디퓨전 설치 과정에 지쳤겠지만, 포기하지 않는다면 누구나 멋진 AI 아티스트가 될 수 있다. 이 가이드가 독자 여러분의 AI 그림 여정에 든든한 동반자가 되기를 바란다.