luckybalabala/autoglm-phone-9b-gguf overview

{
  "metadata": {},
  "card_data": {
    "license": "apache-2.0",
    "base_model": "THUDM/glm-4v-9b",
    "tags": [
      "glm4v",
      "multimodal",
      "vision-language",
      "phone-automation",
      "gguf",
      "quantized"
    ],
    "language": [
      "zh",
      "en"
    ],
    "pipeline_tag": "image-text-to-text",
    "frontmatter": {
      "license": "apache-2.0",
      "base_model": "THUDM/glm-4v-9b",
      "tags": [
        "glm4v",
        "multimodal",
        "vision-language",
        "phone-automation",
        "gguf",
        "quantized"
      ],
      "language": [
        "zh",
        "en"
      ],
      "pipeline_tag": "image-text-to-text"
    },
    "hero_image_url": "",
    "summary": "这是 AutoGLM-Phone-9B 模型的完整 GGUF 量化版本集合，专门为手机自动化任务优化。",
    "quick_links": [],
    "benchmark_table_html": "",
    "readme_markdown": "---\nlicense: apache-2.0\nbase_model: THUDM/glm-4v-9b\ntags:\n- glm4v\n- multimodal\n- vision-language\n- phone-automation\n- gguf\n- quantized\nlanguage:\n- zh\n- en\npipeline_tag: image-text-to-text\n---\n\n# AutoGLM-Phone-9B GGUF 量化模型集合\n\n这是 AutoGLM-Phone-9B 模型的完整 GGUF 量化版本集合，专门为手机自动化任务优化。\n\n## 🎯 模型简介\n\nAutoGLM-Phone-9B 是基于 GLM-4V-9B 的多模态视觉语言模型，专门针对手机自动化场景进行了优化。该模型能够理解手机屏幕截图并生成相应的操作指令。\n\n## 📦 可用的量化版本\n\n| 量化类型 | 文件大小 | 内存需求 | 推荐用途 | 下载链接 |\n|---------|---------|---------|----------|----------|\n| **Q2_K** | 3.73 GB | ~4 GB | 极限内存环境 | [下载](AutoGLM-Phone-9B-Q2_K.gguf) |\n| **Q3_K_S** | 4.28 GB | ~5 GB | 低内存设备 | [下载](AutoGLM-Phone-9B-Q3_K_S.gguf) |\n| **Q3_K_M** | 4.63 GB | ~5 GB | 平衡性能/内存 | [下载](AutoGLM-Phone-9B-Q3_K_M.gguf) |\n| **Q3_K_L** | 4.84 GB | ~6 GB | 稍好质量 | [下载](AutoGLM-Phone-9B-Q3_K_L.gguf) |\n| **Q4_0** | 5.08 GB | ~6 GB | 传统4位量化 | [下载](AutoGLM-Phone-9B-Q4_0.gguf) |\n| **Q4_1** | 5.60 GB | ~6 GB | 改进4位量化 | [下载](AutoGLM-Phone-9B-Q4_1.gguf) |\n| **Q4_K_S** | 5.36 GB | ~6 GB | 推荐-小显卡 | [下载](AutoGLM-Phone-9B-Q4_K_S.gguf) |\n| **Q4_K_M** | 5.74 GB | ~7 GB | **推荐-平衡** ⭐ | [下载](AutoGLM-Phone-9B-Q4_K_M.gguf) |\n| **Q5_0** | 6.11 GB | ~7 GB | 传统5位量化 | [下载](AutoGLM-Phone-9B-Q5_0.gguf) |\n| **Q5_1** | 6.62 GB | ~8 GB | 改进5位量化 | [下载](AutoGLM-Phone-9B-Q5_1.gguf) |\n| **Q5_K_S** | 6.24 GB | ~7 GB | 高质量-小 | [下载](AutoGLM-Phone-9B-Q5_K_S.gguf) |\n| **Q5_K_M** | 6.57 GB | ~8 GB | 高质量-中 | [下载](AutoGLM-Phone-9B-Q5_K_M.gguf) |\n| **Q6_K** | 7.70 GB | ~9 GB | 接近原始质量 | [下载](AutoGLM-Phone-9B-Q6_K.gguf) |\n| **Q8_0** | 9.31 GB | ~11 GB | 最高质量 | [下载](AutoGLM-Phone-9B-Q8_0.gguf) |\n| **F16** | 17.52 GB | ~20 GB | 原始精度 | [下载](AutoGLM-Phone-9B.gguf) |\n\n## 🚀 快速开始\n\n### 使用 llama.cpp\n\n```bash\n# 下载模型和视觉投影器\nwget https://huggingface.co/Luckybalabala/AutoGLM-Phone-9B-Q4_K_M.gguf/resolve/main/AutoGLM-Phone-9B-Q4_K_M.gguf\nwget https://huggingface.co/Luckybalabala/AutoGLM-Phone-9B-Q4_K_M.gguf/resolve/main/AutoGLM-Phone-9B-mmproj.gguf\n\n# 启动服务器\n./llama-server -m AutoGLM-Phone-9B-Q4_K_M.gguf --mmproj AutoGLM-Phone-9B-mmproj.gguf --host 0.0.0.0 --port 8080\n```\n\n### 与 Open-AutoGLM 集成\n\n```bash\n# 克隆 Open-AutoGLM 项目\ngit clone https://github.com/OpenBMB/AutoGLM.git\ncd AutoGLM\n\n# 配置模型 API\npython main.py --base-url http://localhost:8080/v1\n```\n\n## 💻 系统要求\n\n### 推荐配置\n- **8GB 显卡**: Q4_K_M 或 Q5_K_S\n- **12GB 显卡**: Q5_K_M 或 Q6_K  \n- **16GB+ 显卡**: Q8_0 或 F16\n- **CPU 推理**: Q4_K_M 或更低\n\n### 最低要求\n- **操作系统**: Windows 10/11, Linux, macOS\n- **内存**: 8GB+ RAM\n- **存储**: 根据选择的量化版本\n\n## 🔧 技术细节\n\n- **基础模型**: THUDM/glm-4v-9b\n- **量化工具**: llama.cpp quantize\n- **支持格式**: GGUF\n- **多模态**: 支持图像+文本输入\n- **API**: OpenAI 兼容接口\n\n## 📊 性能对比\n\n| 量化类型 | 推理速度 | 内存占用 | 质量保持 | 推荐场景 |\n|---------|---------|---------|----------|----------|\n| Q2_K | 最快 | 最低 | 70% | 资源受限 |\n| Q4_K_M | 快 | 中等 | 85% | **平衡推荐** |\n| Q6_K | 中等 | 较高 | 95% | 高质量需求 |\n| Q8_0 | 较慢 | 高 | 98% | 最佳质量 |\n\n## 🔗 相关资源\n\n- **原项目**: [Open-AutoGLM](https://github.com/zai-org/Open-AutoGLM)\n- **llama.cpp**: [GitHub](https://github.com/ggerganov/llama.cpp)\n- **演示视频**: [B站演示](https://www.bilibili.com/video/BV1KXq3BTEVk/)\n- **技术博客**: [AutoGLM 集成指南](https://github.com/zai-org/Open-AutoGLM)\n\n## 📝 使用许可\n\n本模型遵循 Apache 2.0 许可证。请查看原始模型的许可证条款。\n\n## ⚠️ 注意事项\n\n1. **模型用途**: 专门用于手机自动化任务，其他用途效果可能不佳\n2. **安全提醒**: 请在受控环境中测试，避免在重要设备上直接使用\n3. **性能差异**: 不同量化级别的性能和质量存在差异，请根据需求选择\n4. **更新频率**: 模型会根据 Open-AutoGLM 项目更新而更新\n\n## 🤝 贡献\n\n欢迎提交 Issue 和建议来改进这个模型集合。\n\n---\n\n**标签**: `GLM-4V` `多模态` `手机自动化` `GGUF` `量化模型` `llama.cpp`",
    "related_quantizations": []
  },
  "tags": [
    "gguf",
    "glm4v",
    "multimodal",
    "vision-language",
    "phone-automation",
    "quantized",
    "image-text-to-text",
    "zh",
    "en",
    "base_model:zai-org/glm-4v-9b",
    "base_model:quantized:zai-org/glm-4v-9b",
    "license:apache-2.0",
    "endpoints_compatible",
    "region:us",
    "conversational"
  ],
  "likes": 10,
  "downloads": 4984,
  "gated": false,
  "private": false,
  "last_modified": "2025-12-20T19:09:41.000Z",
  "created_at": "2025-12-17T07:16:49.000Z",
  "pipeline_tag": "image-text-to-text",
  "library_name": ""
}

{
  "_id": "694258e13911a5aea987b192",
  "id": "Luckybalabala/AutoGLM-Phone-9B-GGUF",
  "modelId": "Luckybalabala/AutoGLM-Phone-9B-GGUF",
  "sha": "73b4c41a77abe4af8ad267151a05cd9bfee5caed",
  "createdAt": "2025-12-17T07:16:49.000Z",
  "lastModified": "2025-12-20T19:09:41.000Z",
  "author": "Luckybalabala",
  "downloads": 4984,
  "likes": 10,
  "gated": false,
  "private": false,
  "pipeline_tag": "image-text-to-text",
  "library_name": "",
  "siblings_count": 18
}