71 lines
1.6 KiB
Markdown
71 lines
1.6 KiB
Markdown
# Gemma 4 (31B-IT) 로컬 서빙 + Open WebUI
|
|
|
|
Google Gemma 4 31B-IT 모델을 Ollama로 로컬 서빙하고, Open WebUI로 채팅하는 환경을 원클릭으로 구축합니다.
|
|
|
|
- HuggingFace: `google/gemma-4-31B-it`
|
|
- Ollama: `gemma4:31b` (Q4_K_M, ~20GB)
|
|
- 컨텍스트 윈도우: 256K 토큰
|
|
- 멀티모달: 이미지/비디오 입력 지원 (140+ 언어)
|
|
- 라이선스: Apache 2.0
|
|
|
|
---
|
|
|
|
## 빠른 시작
|
|
|
|
```bash
|
|
./setup-ollama.sh # 설치 + 모델 다운로드 + Open WebUI 실행
|
|
./stop-ollama.sh # 종료
|
|
```
|
|
|
|
셋업 완료 후 **http://localhost:3000** 접속
|
|
|
|
첫 접속 시 회원가입 → 첫 번째 계정이 관리자(admin)입니다.
|
|
|
|
---
|
|
|
|
## 모델 스펙
|
|
|
|
| 항목 | 값 |
|
|
|------|-----|
|
|
| 파라미터 | 30.7B |
|
|
| 컨텍스트 윈도우 | 256K 토큰 |
|
|
| 양자화 (Ollama) | Q4_K_M (~20GB) |
|
|
| 멀티모달 | 이미지, 비디오 (최대 60초) |
|
|
| 지원 언어 | 140+ |
|
|
|
|
---
|
|
|
|
## 기본 파라미터
|
|
|
|
| 파라미터 | 값 | 설명 |
|
|
|----------|-----|------|
|
|
| temperature | 1.0 | Google 권장값 |
|
|
| top_p | 0.95 | Google 권장값 |
|
|
| top_k | 64 | Google 권장값 |
|
|
| num_ctx | 8192 | 입력 컨텍스트 길이 |
|
|
| num_predict | 8192 | 최대 출력 토큰 |
|
|
|
|
파라미터를 변경하려면 `setup-ollama.sh` 상단의 변수를 수정하세요.
|
|
|
|
---
|
|
|
|
## 사전 요구사항
|
|
|
|
- Homebrew
|
|
- Docker Desktop 실행 중
|
|
- 충분한 디스크 공간 (~20GB)
|
|
- RAM 32GB 이상 권장
|
|
|
|
---
|
|
|
|
## 파일 구조
|
|
|
|
```
|
|
gemma4/
|
|
├── setup-ollama.sh # 원클릭 셋업
|
|
├── stop-ollama.sh # 종료
|
|
├── docker-compose.yml # (자동 생성)
|
|
├── Modelfile # (자동 생성)
|
|
└── README.md # 이 문서
|
|
```
|