MyeonghoeLee 3660556a72 기존 Qwen 파일 qwen/ 디렉터리로 이동, Gemma 4 (31B-IT) Ollama 셋업 추가

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>

2026-04-03 16:29:32 +09:00

1.6 KiB

Raw Permalink Blame History

Gemma 4 (31B-IT) 로컬 서빙 + Open WebUI

Google Gemma 4 31B-IT 모델을 Ollama로 로컬 서빙하고, Open WebUI로 채팅하는 환경을 원클릭으로 구축합니다.

HuggingFace: google/gemma-4-31B-it
Ollama: gemma4:31b (Q4_K_M, ~20GB)
컨텍스트 윈도우: 256K 토큰
멀티모달: 이미지/비디오 입력 지원 (140+ 언어)
라이선스: Apache 2.0

빠른 시작

./setup-ollama.sh    # 설치 + 모델 다운로드 + Open WebUI 실행
./stop-ollama.sh     # 종료

셋업 완료 후 http://localhost:3000 접속

첫 접속 시 회원가입 → 첫 번째 계정이 관리자(admin)입니다.

모델 스펙

항목	값
파라미터	30.7B
컨텍스트 윈도우	256K 토큰
양자화 (Ollama)	Q4_K_M (~20GB)
멀티모달	이미지, 비디오 (최대 60초)
지원 언어	140+

기본 파라미터

파라미터	값	설명
temperature	1.0	Google 권장값
top_p	0.95	Google 권장값
top_k	64	Google 권장값
num_ctx	8192	입력 컨텍스트 길이
num_predict	8192	최대 출력 토큰

파라미터를 변경하려면 setup-ollama.sh 상단의 변수를 수정하세요.

사전 요구사항

Homebrew
Docker Desktop 실행 중
충분한 디스크 공간 (~20GB)
RAM 32GB 이상 권장

파일 구조

gemma4/
├── setup-ollama.sh      # 원클릭 셋업
├── stop-ollama.sh       # 종료
├── docker-compose.yml   # (자동 생성)
├── Modelfile            # (자동 생성)
└── README.md            # 이 문서

1.6 KiB Raw Permalink Blame History