80 lines
2.0 KiB
Markdown
80 lines
2.0 KiB
Markdown
# Qwen3.5 로컬 서빙 + Open WebUI
|
|
|
|
로컬 Mac에서 Qwen3.5-35B 모델을 서빙하고, Open WebUI로 채팅할 수 있는 환경을 원클릭으로 구축합니다.
|
|
|
|
텍스트 대화 + 이미지 입력 모두 지원합니다.
|
|
|
|
---
|
|
|
|
## 방식 선택
|
|
|
|
| | Ollama | MLX (vllm-mlx) |
|
|
|---|---|---|
|
|
| 장점 | 간편, 설정 적음 | Mac GPU 최적화, 파라미터 직접 제어 |
|
|
| 이미지 입력 | O | O |
|
|
| 환경 | Homebrew + Docker | Python venv + Docker |
|
|
| 셋업 | `./setup-ollama.sh` | `./setup-mlx.sh` |
|
|
| 종료 | `./stop-ollama.sh` | `./stop-mlx.sh` |
|
|
|
|
---
|
|
|
|
## 사전 요구사항
|
|
|
|
- **Mac** (MLX 방식은 Apple Silicon 필수)
|
|
- **Docker Desktop** 설치 및 실행
|
|
- **Homebrew** (Ollama 방식)
|
|
- **Python 3.10+** (MLX 방식)
|
|
- **RAM 32GB 이상** 권장 (4bit 모델 기준 ~20GB 사용)
|
|
|
|
---
|
|
|
|
## 사용법
|
|
|
|
### Ollama 방식
|
|
|
|
```bash
|
|
# 셋업 (Ollama 설치 → 모델 다운로드 → Open WebUI 실행)
|
|
./setup-ollama.sh
|
|
|
|
# 종료
|
|
./stop-ollama.sh
|
|
```
|
|
|
|
### MLX 방식
|
|
|
|
```bash
|
|
# 셋업 (venv → vllm-mlx 설치 → 패치 → Open WebUI → 서버 시작)
|
|
./setup-mlx.sh
|
|
|
|
# 종료
|
|
./stop-mlx.sh
|
|
```
|
|
|
|
셋업 완료 후 **http://localhost:3000** 접속
|
|
|
|
첫 접속 시 회원가입 → 첫 번째 계정이 관리자(admin)입니다.
|
|
|
|
---
|
|
|
|
## 파일 구조
|
|
|
|
```
|
|
├── setup-ollama.sh # Ollama 원클릭 셋업
|
|
├── setup-mlx.sh # MLX 원클릭 셋업
|
|
├── stop-ollama.sh # Ollama 종료
|
|
├── stop-mlx.sh # MLX 종료
|
|
├── docker-compose.yml # Ollama용 Open WebUI
|
|
├── docker-compose.mlx.yml # MLX용 Open WebUI
|
|
├── SETUP_OLLAMA.md # Ollama 상세 가이드
|
|
└── SETUP_MLX.md # MLX 상세 가이드 (파라미터, 트러블슈팅)
|
|
```
|
|
|
|
---
|
|
|
|
## 상세 가이드
|
|
|
|
수동 설치, 파라미터 조정, 트러블슈팅 등은 아래 문서를 참고하세요.
|
|
|
|
- [SETUP_OLLAMA.md](SETUP_OLLAMA.md) — Ollama 방식 상세
|
|
- [SETUP_MLX.md](SETUP_MLX.md) — MLX 방식 상세 (파라미터 레퍼런스, 이미지 프로세서 패치 설명 포함)
|