fe00782db1
Ollama 방식과 vllm-mlx(MLX) 방식 두 가지 셋업 스크립트 및 가이드 포함. transformers fast image processor 호환성 패치 자동 적용. Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
128 lines
2.0 KiB
Markdown
128 lines
2.0 KiB
Markdown
# Qwen3.5 + Open WebUI — Ollama 방식 (간편)
|
|
|
|
> 환경: MacBook Pro M4 Pro 48GB / Docker Desktop / Homebrew
|
|
|
|
---
|
|
|
|
## 0. 사전 요구사항
|
|
|
|
- Docker Desktop이 설치되어 있고 실행 중이어야 합니다
|
|
- Homebrew가 설치되어 있어야 합니다
|
|
|
|
```bash
|
|
docker --version
|
|
brew --version
|
|
```
|
|
|
|
## 1. Ollama 설치 및 시작
|
|
|
|
```bash
|
|
brew install ollama
|
|
brew services start ollama
|
|
```
|
|
|
|
## 2. Qwen3.5 모델 다운로드
|
|
|
|
```bash
|
|
ollama pull qwen3.5:35b
|
|
```
|
|
|
|
## 3. 모델 확인 및 테스트
|
|
|
|
```bash
|
|
ollama list
|
|
ollama run qwen3.5:35b "안녕하세요, 자기소개 해주세요"
|
|
```
|
|
|
|
> 나가려면 `/bye` 입력
|
|
|
|
## 4. 프로젝트 디렉터리 생성
|
|
|
|
```bash
|
|
mkdir -p ~/PyCharmMiscProject/openwebui
|
|
cd ~/PyCharmMiscProject/openwebui
|
|
```
|
|
|
|
## 5. docker-compose.yml 생성
|
|
|
|
```bash
|
|
cat > docker-compose.yml << 'EOF'
|
|
services:
|
|
open-webui:
|
|
image: ghcr.io/open-webui/open-webui:main
|
|
container_name: open-webui
|
|
ports:
|
|
- "3000:8080"
|
|
environment:
|
|
- OLLAMA_BASE_URL=http://host.docker.internal:11434
|
|
volumes:
|
|
- open-webui-data:/app/backend/data
|
|
extra_hosts:
|
|
- "host.docker.internal:host-gateway"
|
|
restart: unless-stopped
|
|
|
|
volumes:
|
|
open-webui-data:
|
|
EOF
|
|
```
|
|
|
|
## 6. Open WebUI 실행
|
|
|
|
```bash
|
|
docker compose up -d
|
|
```
|
|
|
|
## 7. 확인
|
|
|
|
```bash
|
|
docker ps
|
|
curl http://localhost:11434/api/tags
|
|
```
|
|
|
|
## 8. 브라우저 접속
|
|
|
|
```
|
|
http://localhost:3000
|
|
```
|
|
|
|
1. 첫 접속 시 회원가입 (로컬 전용, 첫 계정 = admin)
|
|
2. 상단 모델 선택에서 **qwen3.5:35b** 선택
|
|
3. 채팅 시작
|
|
|
|
---
|
|
|
|
## 종료
|
|
|
|
```bash
|
|
cd ~/PyCharmMiscProject/openwebui && docker compose down
|
|
brew services stop ollama
|
|
```
|
|
|
|
## 재시작
|
|
|
|
```bash
|
|
brew services start ollama
|
|
cd ~/PyCharmMiscProject/openwebui && docker compose up -d
|
|
```
|
|
|
|
## 트러블슈팅
|
|
|
|
### 모델이 안 보일 때
|
|
|
|
```bash
|
|
brew services list | grep ollama
|
|
curl http://localhost:11434/api/tags
|
|
```
|
|
|
|
### 컨테이너가 안 뜰 때
|
|
|
|
```bash
|
|
docker logs open-webui
|
|
```
|
|
|
|
### 포트 충돌 시
|
|
|
|
```bash
|
|
lsof -i :3000
|
|
```
|