vito95311/qwen3-omni-30b-a3b-thinking-gguf-int8fp16 overview

{
  "metadata": {},
  "card_data": {
    "language": [
      "zh",
      "en",
      "multilingual"
    ],
    "tags": [
      "pytorch",
      "transformers",
      "text-generation",
      "multimodal",
      "quantized",
      "gguf",
      "ollama",
      "llama-cpp",
      "qwen",
      "omni",
      "int8",
      "fp16"
    ],
    "pipeline_tag": "text-generation",
    "license": "apache-2.0",
    "model-index": [
      {
        "name": "Qwen3-Omni-30B-A3B-Thinking-GGUF-INT8FP16",
        "results": [
          {
            "task": {
              "type": "text-generation",
              "name": "Text Generation"
            },
            "metrics": [
              {
                "type": "tokens_per_second",
                "value": 25.3,
                "verified": false
              }
            ]
          }
        ]
      }
    ],
    "library_name": "llama.cpp",
    "base_model": "Qwen/Qwen3-Omni-30B-A3B-Thinking",
    "frontmatter": {
      "language": [
        "zh",
        "en",
        "multilingual"
      ],
      "tags": [
        "pytorch",
        "transformers",
        "text-generation",
        "multimodal",
        "quantized",
        "gguf",
        "ollama",
        "llama-cpp",
        "qwen",
        "omni",
        "int8",
        "fp16"
      ],
      "pipeline_tag": "text-generation",
      "license": [
        "name: Qwen3-Omni-30B-A3B-Thinking-GGUF-INT8FP16",
        "task:",
        "type: tokens_per_second"
      ],
      "library_name": "llama.cpp",
      "base_model": "Qwen/Qwen3-Omni-30B-A3B-Thinking"
    },
    "hero_image_url": "",
    "summary": "",
    "quick_links": [],
    "benchmark_table_html": "",
    "readme_markdown": "---\nlanguage:\n- zh\n- en\n- multilingual\ntags:\n- pytorch\n- transformers\n- text-generation\n- multimodal\n- quantized\n- gguf\n- ollama\n- llama-cpp\n- qwen\n- omni\n- int8\n- fp16\npipeline_tag: text-generation\nlicense: apache-2.0\nmodel-index:\n- name: Qwen3-Omni-30B-A3B-Thinking-GGUF-INT8FP16\n  results:\n  - task:\n      type: text-generation\n      name: Text Generation\n    metrics:\n    - type: tokens_per_second\n      value: 25.3\nlibrary_name: llama.cpp\nbase_model: Qwen/Qwen3-Omni-30B-A3B-Thinking\n---\n\n# 🔥 Qwen3-Omni **GGUF量化版本** - Ollama & llama.cpp 專用\n\n## 🚀 概述\n\n這是 **Qwen3-Omni 31.7B參數模型的GGUF格式量化版本**，專門為 **Ollama** 和 **llama.cpp** 生態系統優化。通過GGUF格式的高效壓縮和量化技術，讓大型多模態模型在消費級硬體上也能流暢運行。\n\n## ⚠️ 重要警語：多模態功能支援現況\n請注意，雖然這個 GGUF 量化版本已成功轉換 Qwen3-Omni-30B-A3B-Thinking 模型以供 Ollama 和 llama.cpp 使用，但目前該模型的多模態（例如：圖像理解、音頻處理）能力在這些生態系統中可能尚未完全或原生支援**。**\n核心要點：\n * 基礎文字生成（Text Generation）： 模型的文字生成、推理、編碼等核心功能在 GGUF 格式下，搭配 llama.cpp 或 Ollama 運行表現優良，符合說明頁面中的性能基準。\n * 多模態功能（Multimodal）： Qwen3-Omni 的圖像、音頻、影片等輸入/輸出功能，需要 llama.cpp 和 Ollama 軟體層的特定且複雜的更新和支持才能原生啟用。\n   * 在您運行此模型時，您可能無法使用或預期其完整的圖像理解或音頻處理能力。\n   * 如果您嘗試運行涉及圖像或音頻輸入的任務，結果可能失敗、不準確或退化為僅文字處理。\n * 建議： 如果您的主要需求是純文字生成、複雜推理或編碼，此 GGUF 版本是高效且推薦的。如果您需要多模態功能，請持續關注 llama.cpp 和 Ollama 專案的最新版本和更新日誌，確認 Qwen3-Omni 的多模態輸入支持已正式發布。\n請在部署前確認您對模型功能的期望是否符合目前的軟體支援現狀。\n\n### ⭐ GGUF版本核心優勢\n\n- **🎯 GGUF原生優化**: 專為llama.cpp/Ollama生態設計的高效格式\n- **⚡ 極致量化**: INT8+FP16混合精度，保持95%+原版性能\n- **🔌 一鍵部署**: 支援Ollama直接載入，無需複雜配置\n- **💾 記憶體友好**: 相比原版減少50%+記憶體使用\n- **🎮 消費級GPU**: RTX 4090/5090完美支援，無需專業硬體\n- **🌐 跨平台**: Windows/Linux/macOS全平台支援\n\n## 📦 模型文件說明\n\n### 🔢 GGUF檔案清單\n- **qwen3_omni_quantized.gguf** (31GB) - INT8量化版本（推薦）\n- **qwen3_omni_f16.gguf** (31GB) - FP16精度版本（高精度）\n- **Qwen3OmniQuantized.modelfile** - Ollama配置文件\n\n### 🎛️ 量化技術規格\n- **格式**: GGUF (GPT-Generated Unified Format)\n- **量化方法**: Q8_0 (INT8權重) + F16激活\n- **壓縮比**: ~50% 相比原版FP32\n- **精度保持**: >95% 相比原版模型\n- **兼容性**: llama.cpp, Ollama, text-generation-webui\n\n## 🚀 快速開始\n\n### 🎯 方法1: Ollama 一鍵部署（推薦）\n\n```bash\n# 下載模型文件\nhuggingface-cli download vito95311/Qwen3-Omni-30B-A3B-Thinking-GGUF-INT8FP16 qwen3_omni_quantized.gguf --local-dir ./\nhuggingface-cli download vito95311/Qwen3-Omni-30B-A3B-Thinking-GGUF-INT8FP16 Qwen3OmniQuantized.modelfile --local-dir ./\n\n# 創建Ollama模型\nollama create qwen3-omni-quantized -f Qwen3OmniQuantized.modelfile\n\n# 開始對話\nollama run qwen3-omni-quantized\n```\n\n```bash\n# 或直接使用ollama pull指令下載並創建\nollama pull hf.co/vito95311/Qwen3-Omni-30B-A3B-Thinking-GGUF-INT8FP16\n```\n\n### 🖥️ 方法2: llama.cpp 直接運行\n\n```bash\n# 編譯llama.cpp（如果尚未安裝）\ngit clone https://github.com/ggerganov/llama.cpp\ncd llama.cpp && make -j8\n\n# 下載GGUF模型\nhuggingface-cli download vito95311/Qwen3-Omni-30B-A3B-Thinking-GGUF-INT8FP16 qwen3_omni_quantized.gguf --local-dir ./\n\n# 運行推理\n./main -m qwen3_omni_quantized.gguf -p \"你好，請介紹一下你自己\" -n 256\n```\n\n### 🐍 方法3: Python API 集成\n\n```python\n# 使用llama-cpp-python\npip install llama-cpp-python\n\nfrom llama_cpp import Llama\n\n# 載入GGUF模型\nllm = Llama(\n    model_path=\"qwen3_omni_quantized.gguf\",\n    n_gpu_layers=35,  # GPU加速層數\n    n_ctx=4096,      # 上下文長度\n    verbose=False\n)\n\n# 生成回應\nresponse = llm(\n    \"請用一句話解釋量子計算\",\n    max_tokens=128,\n    temperature=0.7,\n    top_p=0.8\n)\n\nprint(response['choices'][0]['text'])\n```\n\n## ⚙️ 配置建議\n\n### 🖥️ 硬體需求\n\n#### Ollama 推薦配置\n```bash\n# GPU 推理（推薦）\nGPU: RTX 4090 (24GB) / RTX 5090 (32GB)\nRAM: 16GB+ DDR4/DDR5\nVRAM: 20GB+ 用於GPU層offloading\n\n# CPU 推理（備選）\nCPU: 16核心+ (Intel i7/AMD Ryzen 7+)\nRAM: 64GB+ DDR4/DDR5\n```\n\n#### 效能調優參數\n```bash\n# Ollama 環境變數設定\nexport OLLAMA_NUM_PARALLEL=4        # 並行請求數\nexport OLLAMA_MAX_LOADED_MODELS=2   # 最大載入模型數\nexport OLLAMA_FLASH_ATTENTION=1     # 啟用Flash Attention\nexport OLLAMA_GPU_MEMORY_FRACTION=0.9  # GPU記憶體使用比例\n\n# llama.cpp 最佳化參數\n./main -m model.gguf \\\n  --n-gpu-layers 35 \\      # GPU加速層數\n  --batch-size 512 \\       # 批次大小\n  --threads 8 \\            # CPU線程數\n  --mlock                  # 鎖定記憶體防止swap\n```\n\n## 📊 GGUF量化性能基準\n\n### 🏆 不同量化格式對比\n\n| 量化格式 | 文件大小 | 記憶體使用 | 推理速度 | 精度保持 | 推薦用途 |\n|---------|---------|----------|---------|---------|---------|\n| **Q8_0 (推薦)** | **31GB** | **28GB** | **25+ tokens/秒** | **95%+** | **平衡性能** |\n| F16 | 31GB | 32GB | 30+ tokens/秒 | 99% | 高精度需求 |\n| Q4_0 | 18GB | 20GB | 35+ tokens/秒 | 85% | 資源受限 |\n| Q2_K | 12GB | 14GB | 40+ tokens/秒 | 75% | 極限壓縮 |\n\n### ⚡ 硬體配置性能實測\n\n| 硬體配置 | Ollama速度 | llama.cpp速度 | GPU記憶體 | 載入時間 |\n|---------|-----------|--------------|-----------|---------|\n| RTX 5090 32GB | 28-32 tokens/秒 | 30-35 tokens/秒 | 26GB | 8秒 |\n| RTX 4090 24GB | 22-26 tokens/秒 | 25-30 tokens/秒 | 22GB | 12秒 |\n| RTX 4080 16GB | 15-20 tokens/秒 | 18-22 tokens/秒 | 15GB | 18秒 |\n| CPU Only | 3-5 tokens/秒 | 4-6 tokens/秒 | 32GB RAM | 15秒 |\n\n### 🎯 多模態能力測試\n\n```python\n# GGUF版本支援的能力\ncapabilities = {\n    \"text_generation\": \"✅ 優秀 (95%+ 原版質量)\",\n    \"multilingual\": \"✅ 完整支援中英文+100種語言\", \n    \"code_generation\": \"✅ Python/JS/Go等多語言代碼\",\n    \"reasoning\": \"✅ 邏輯推理和數學問題\",\n    \"creative_writing\": \"✅ 創意寫作和故事生成\",\n    \"image_understanding\": \"⚠️ 需要multimodal版本llama.cpp\",\n    \"audio_processing\": \"⚠️ 需要額外音頻處理工具\"\n}\n```\n\n## 🛠️ 進階使用\n\n### 🔧 自定義Ollama模型\n\n創建您自己的Ollama配置：\n\n```dockerfile\n# 自定義 Modelfile\nFROM /path/to/qwen3_omni_quantized.gguf\n\n# 調整生成參數\nPARAMETER temperature 0.8          # 創意度\nPARAMETER top_p 0.9               # nucleus採樣\nPARAMETER top_k 50                # top-k採樣  \nPARAMETER repeat_penalty 1.1      # 重複懲罰\nPARAMETER num_predict 512         # 最大生成長度\n\n# 自定義系統提示\nSYSTEM \"\"\"你是一個專業的AI助手，擅長技術問題解答和創意寫作。請用專業且友善的語氣回應用戶。\"\"\"\n\n# 自定義對話模板\nTEMPLATE \"\"\"[INST] {{ .Prompt }} [/INST] {{ .Response }}\"\"\"\n```\n\n### 🌐 Web UI 集成\n\n```bash\n# text-generation-webui 支援\ngit clone https://github.com/oobabooga/text-generation-webui\ncd text-generation-webui\n\n# 安裝GGUF支援\npip install llama-cpp-python\n\n# 將GGUF文件放入models目錄並啟動\npython server.py --model qwen3_omni_quantized.gguf --loader llama.cpp\n```\n\n## 🔍 故障排除\n\n### ❌ 常見GGUF問題\n\n#### Ollama載入失敗\n```bash\n# 檢查模型完整性\nollama list\nollama show qwen3-omni-quantized\n\n# 重新創建模型\nollama rm qwen3-omni-quantized\nollama create qwen3-omni-quantized -f Qwen3OmniQuantized.modelfile\n```\n\n#### llama.cpp記憶體不足\n```bash\n# 減少GPU層數\n./main -m model.gguf --n-gpu-layers 20  # 降低到20層\n\n# 使用記憶體映射\n./main -m model.gguf --mmap --mlock\n\n# 調整批次大小\n./main -m model.gguf --batch-size 256\n```\n\n#### 生成質量下降\n```bash\n# 調整採樣參數\n./main -m model.gguf \\\n  --temp 0.7 \\           # 降低溫度提高一致性\n  --top-p 0.8 \\          # 調整nucleus採樣\n  --repeat-penalty 1.1   # 減少重複\n```\n\n## 📁 文件結構\n\n```\nqwen3-omni-gguf/\n├── 🧠 GGUF模型文件\n│   ├── qwen3_omni_quantized.gguf     # INT8量化版本 (推薦)\n│   └── qwen3_omni_f16.gguf           # FP16精度版本\n│\n├── 🔧 配置文件  \n│   ├── Qwen3OmniQuantized.modelfile  # Ollama配置\n│   ├── config.json                   # 模型配置信息\n│   └── tokenizer.json                # 分詞器配置\n│\n└── 📚 文檔\n    ├── README.md                     # 使用說明\n    ├── GGUF_GUIDE.md                 # GGUF格式詳解\n    └── OLLAMA_DEPLOYMENT.md          # Ollama部署指南\n```\n\n## 🤝 社群與支援\n\n### 🆘 技術支援\n- **GGUF格式問題**: [llama.cpp Issues](https://github.com/ggerganov/llama.cpp/issues)\n- **Ollama相關**: [Ollama GitHub](https://github.com/jmorganca/ollama/issues)\n- **模型問題**: [Hugging Face討論](https://huggingface.co/vito95311/Qwen3-Omni-30B-A3B-Thinking-GGUF-INT8FP16/discussions)\n\n### 📞 聯繫方式\n- **Email**: service@vito11317.com\n- **GitHub**: [@vito1317](https://github.com/vito1317)\n- **Hugging Face**: [@vito95311](https://huggingface.co/vito95311)\n\n## 📄 授權與致謝\n\n### 🔐 授權信息\n- **基礎模型**: 遵循Qwen3-Omni原版授權條款\n- **GGUF轉換**: Apache 2.0授權，允許商業使用\n- **量化技術**: 基於llama.cpp開源技術\n\n### 🙏 致謝\n- **Qwen團隊**: 提供優秀的原版模型\n- **llama.cpp社群**: GGUF格式和量化技術\n- **Ollama團隊**: 簡化模型部署的優秀工具\n- **開源社群**: 持續的改進和回饋\n\n---\n\n## 🌟 為什麼選擇我們的GGUF版本？\n\n### ✨ 獨特優勢\n1. **🎯 GGUF原生**: 專為llama.cpp生態優化，非後期轉換\n2. **🚀 一鍵部署**: Ollama直接支援，無需複雜配置\n3. **💪 極致優化**: 多層次量化技術，平衡性能與精度\n4. **🔧 開箱即用**: 提供完整的配置文件和部署指南\n5. **📈 持續更新**: 跟隨llama.cpp最新技術發展\n\n### 🏆 效能保證\n- **生成速度**: GPU模式25+ tokens/秒\n- **記憶體效率**: 相比原版節省50%+\n- **精度保持**: 95%+原版模型質量\n- **穩定性**: 經過大量測試驗證\n\n**⭐ 如果這個GGUF版本對您有幫助，請給我們一個Star!**\n\n**🚀 立即開始: `ollama run hf.co/vito95311/Qwen3-Omni-30B-A3B-Thinking-GGUF-INT8FP16`**\n\n---\n\n*專為GGUF生態打造，讓大模型觸手可及* 🌍\n\n\n",
    "related_quantizations": []
  },
  "tags": [
    "llama.cpp",
    "gguf",
    "pytorch",
    "transformers",
    "text-generation",
    "multimodal",
    "quantized",
    "ollama",
    "llama-cpp",
    "qwen",
    "omni",
    "int8",
    "fp16",
    "zh",
    "en",
    "multilingual",
    "base_model:Qwen/Qwen3-Omni-30B-A3B-Thinking",
    "base_model:quantized:Qwen/Qwen3-Omni-30B-A3B-Thinking",
    "license:apache-2.0",
    "model-index",
    "endpoints_compatible",
    "region:us"
  ],
  "likes": 18,
  "downloads": 295,
  "gated": false,
  "private": false,
  "last_modified": "2025-09-28T03:31:36.000Z",
  "created_at": "2025-09-24T11:31:52.000Z",
  "pipeline_tag": "text-generation",
  "library_name": "llama.cpp"
}

{
  "_id": "68d3d6a84df7e8962009f2d6",
  "id": "vito95311/Qwen3-Omni-30B-A3B-Thinking-GGUF-INT8FP16",
  "modelId": "vito95311/Qwen3-Omni-30B-A3B-Thinking-GGUF-INT8FP16",
  "sha": "10d1e93b24c324b88099fa1b6076a47be41fd03e",
  "createdAt": "2025-09-24T11:31:52.000Z",
  "lastModified": "2025-09-28T03:31:36.000Z",
  "author": "vito95311",
  "downloads": 295,
  "likes": 18,
  "gated": false,
  "private": false,
  "pipeline_tag": "text-generation",
  "library_name": "llama.cpp",
  "siblings_count": 7
}