neureps/warmly-qwen35-2b-gguf overview
Warmly — Qwen3.5 2B GGUF Korean calibrated imatrix 1인용 오프라인 SNS 앱 온기 Warmly 의 온디바이스 댓글 생성 모델입니다. Qwen/Qwen3.5 2B https://huggingface.co/Qwen/Qwen3.5 2B 를 한국어 S…
Runs locally from ~347.8 MB disk (4 GB VRAM class GPUs with llama.cpp / guIDE).
Repository Files & Downloads
Model Details
Model README
---
license: apache-2.0
base_model: Qwen/Qwen3.5-2B
tags:
- gguf
- llama.cpp
- korean
- warmly
---
Warmly — Qwen3.5-2B GGUF (Korean-calibrated imatrix)
1인용 오프라인 SNS 앱 온기(Warmly)의 온디바이스 댓글 생성 모델입니다.
Qwen/Qwen3.5-2B를 한국어 SNS 댓글 도메인
텍스트(영어 캡션 + 한국어 페르소나 댓글 372샘플)로 캘리브레이션한 imatrix로
Q4_K_M 양자화했습니다. MTP 레이어는 제거(--no-mtp)했습니다.
| 파일 | 크기 | 용도 |
| --- | --- | --- |
| Qwen3.5-2B-Q4_K_M.gguf | ~1.2GB | 텍스트 생성 (캡션→댓글, 답글) |
| mmproj-Q8_0.gguf | ~348MB | 비전 프로젝터 (이미지→캡션) |
| imatrix.dat / calib.txt | — | 재현용 캘리브레이션 산출물 |
실측 (2026-07-13, 사진 5장 × 페르소나 4명)
- 자연스러운 한국어 댓글: ~15/20 (F16 ~16/20, 일반 Q4_K_M ~12-13/20)
- mmproj Q8_0은 F16 대비 캡션 출력이 단어 단위로 동일 (greedy 비교)
- Qwen3.5는
enable_thinking: false필수 (미지정 시 전 토큰이 reasoning으로 소모)
사용
llama-server -m Qwen3.5-2B-Q4_K_M.gguf --mmproj mmproj-Q8_0.gguf --port 8081Run neureps/warmly-qwen35-2b-gguf with guIDE
Download guIDE — the AI-native code editor with local LLM inference and 69 built-in tools.
Source: Hugging Face · Compare models