27 lines
514 B
Markdown
27 lines
514 B
Markdown
# LLM 로컬 서빙 + Open WebUI
|
|
|
|
다양한 LLM을 로컬에서 서빙하고 Open WebUI로 테스트하는 환경 모음입니다.
|
|
|
|
---
|
|
|
|
## 모델별 디렉터리
|
|
|
|
| 디렉터리 | 모델 | 방식 |
|
|
|-----------|------|------|
|
|
| [qwen/](qwen/) | Qwen3.5-35B | Ollama / MLX / vLLM |
|
|
| [gemma4/](gemma4/) | Gemma 4 31B-IT | Ollama |
|
|
|
|
---
|
|
|
|
## 빠른 시작
|
|
|
|
```bash
|
|
# Gemma 4 (Ollama)
|
|
cd gemma4 && ./setup-ollama.sh
|
|
|
|
# Qwen3.5 (자동 감지)
|
|
cd qwen && ./setup.sh
|
|
```
|
|
|
|
각 디렉터리의 README를 참고하세요.
|