LLM 로컬 서빙 + Open WebUI
다양한 LLM을 로컬에서 서빙하고 Open WebUI로 테스트하는 환경 모음입니다.
모델별 디렉터리
| 디렉터리 |
모델 |
방식 |
| qwen/ |
Qwen3.5-35B |
Ollama / MLX / vLLM |
| gemma4/ |
Gemma 4 31B-IT |
Ollama |
빠른 시작
# Gemma 4 (Ollama)
cd gemma4 && ./setup-ollama.sh
# Qwen3.5 (자동 감지)
cd qwen && ./setup.sh
각 디렉터리의 README를 참고하세요.
