---

language:

• bn
• en

license: gemma

library_name: gguf

tags:

• gguf
• llama.cpp
• ollama
• unsloth
• gemma3
• bangla
• bengali
• conversational
• function-calling
• lora
• fine-tuned

base_model: google/gemma-3-270m-it

model_name: vMAX-Bangla-Gemma3-270m-GGUF

pipeline_tag: text-generation

quantized_by: naimulislam999

datasets:

• custom

---

<div align="center">

🇧🇩 vMAX — Bangla AI Assistant

gemma-3-270m-it · Fine-Tuned · GGUF





<br/>

vMAX is a Bangla-first conversational AI fine-tuned to speak naturally in authentic Bangladeshi Bengali —

no robotic formality, just warm, relatable, and intelligent conversation.

Built by Naimul Islam Nahid

---

</div>

✨ Highlights

• 🗣️ Native Bangla Fluency — Understands idioms, slang, humor, and cultural nuances of Bangladeshi Bengali
• 🛠️ Function Calling — Trained on 304 tool-use examples with structured <tool_call> / <tool_response> format
• ⚡ Lightweight — 270M parameters, runs on CPU / mobile / edge devices
• 📦 Multiple Quantizations — Q4_K_M, Q8_0, and F16 GGUF variants included
• 🦙 Ollama Ready — Drop-in Modelfile included for instant local deployment

---

📥 Available Files

| Filename | Quant | Size | Use Case |

|:---------|:-----:|-----:|:---------|

| gemma-3-270m-it.Q4_K_M.gguf | Q4_K_M | ~170 MB | 🟢 Best for mobile / edge — great balance of speed & quality |

| gemma-3-270m-it.Q8_0.gguf | Q8_0 | ~290 MB | 🔵 Higher quality, still very fast on CPU |

| gemma-3-270m-it.F16.gguf | F16 | ~540 MB | 🟣 Full precision — maximum quality |

---

🚀 Quick Start

llama.cpp

# Text-only inference
llama-cli -hf naimulislam999/vMAX-Bangla-Gemma3-270m-GGUF --jinja

# Multimodal (if applicable)
llama-mtmd-cli -hf naimulislam999/vMAX-Bangla-Gemma3-270m-GGUF --jinja

Ollama

# Create from the included Modelfile
ollama create vmax -f Modelfile

# Or directly from Hugging Face
echo 'FROM hf.co/naimulislam999/vMAX-Bangla-Gemma3-270m-GGUF:Q4_K_M' > Modelfile
echo 'SYSTEM "তুমি vMAX, নাইমুল ইসলাম নাহিদের নিজস্ব এআই বন্ধু ও অ্যাসিস্ট্যান্ট। তোমার কথাবার্তায় কোনো কৃত্রিম রোবোটিক ভাব নেই, বরং খাঁটি বাংলাদেশি ঘরোয়া ও আন্তরিক মেজাজ থাকে।"' >> Modelfile
ollama create vmax -f Modelfile

# Run
ollama run vmax "তুমি কে?"

Python (llama-cpp-python)

from llama_cpp import Llama

llm = Llama.from_pretrained(
    repo_id="naimulislam999/vMAX-Bangla-Gemma3-270m-GGUF",
    filename="gemma-3-270m-it.Q4_K_M.gguf",
)

response = llm.create_chat_completion(
    messages=[
        {"role": "system", "content": "তুমি vMAX, নাইমুল ইসলাম নাহিদের নিজস্ব এআই বন্ধু ও অ্যাসিস্ট্যান্ট।"},
        {"role": "user", "content": "বাংলাদেশের সবচেয়ে সুন্দর জায়গা কোনটি?"},
    ],
)
print(response["choices"][0]["message"]["content"])

---

🛠️ Function Calling

vMAX supports structured tool use. The model was trained to emit and parse tool calls using XML-style tags:

User → Model (tool call):

<tool_call>
{"name": "get_weather", "arguments": {"city": "Dhaka"}}
</tool_call>

Tool → Model (tool response):

<tool_response>
{"name": "get_weather", "result": {"temp": "34°C", "condition": "Sunny"}}
</tool_response>

The model then generates a natural Bangla response incorporating the tool output.

---

📊 Training Details

| Parameter | Value |

|:----------|:------|

| Base Model | google/gemma-3-270m-it |

| Method | LoRA (rank 16, alpha 32) |

| Target Modules | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |

| Dataset | 2,249 curated Bangla examples (1,945 chat + 304 function-calling) |

| Epochs | 5 |

| Effective Batch Size | 8 (2 × 4 grad accumulation) |

| Learning Rate | 5e-5 (cosine schedule, 10% warmup) |

| Precision | FP16 / 4-bit QLoRA |

| Max Sequence Length | 2,048 tokens |

| Hardware | NVIDIA T4 (Kaggle) |

| Framework | Unsloth + TRL + PEFT |

---

💬 Example Conversations

<details>

<summary><b>🌤️ Casual Chat</b></summary>

> User: আজকে এত গরম পড়েছে যে মাথা কাজ করছে না!

>

> vMAX: আরে ভাইরে ভাই, গরমের তীব্রতায় সবারই একই হাল! বেশি করে ডাবের পানি বা স্যালাইন খান, রোদ সরাসরি এড়িয়ে চলুন আর দরকার ছাড়া দুপুরের দিকে বাইরে বের হবেন না। পারলে ফ্যানের নিচে একটু বিশ্রাম নিন!

</details>

<details>

<summary><b>💻 Technical Help</b></summary>

> User: Nginx Reverse Proxy কনফিগারেশন SSL এবং WebSocket সাপোর্ট সহ তৈরি করে দাও।

>

> vMAX: নিচে Nginx Reverse Proxy কনফিগারেশন SSL এবং WebSocket সাপোর্ট সহ-এর সম্পূর্ণ কনফিগারেশন দেওয়া হলো...

> (provides full nginx config block)

</details>

<details>

<summary><b>🤝 Life Advice</b></summary>

> User: বন্ধু টাকা ধার নিয়ে আর ফেরত দিচ্ছে না, কীভাবে চেয়ে নেওয়া যায়?

>

> vMAX: খুবই স্পর্শকাতর পরিস্থিতি! আপনি সরাসরি রেগে না গিয়ে স্বাভাবিকভাবে নক দিয়ে বলতে পারেন — 'দোস্ত, কেমন আছিস? তোকে একটা কথা মনে করিয়ে দিতে চাচ্ছিলাম...'

</details>

---

⚠️ Limitations

• Model Size — At 270M parameters, this is a compact model. It won't match larger models on complex reasoning tasks.
• Language Scope — Primarily optimized for Bangla (Bengali). English capability is inherited from the base Gemma model but is not the focus.
• Knowledge Cutoff — Knowledge is limited to the base model's training data cutoff.
• Hallucinations — Like all language models, vMAX can generate plausible-sounding but incorrect information.

---

📜 License

This model is distributed under the Gemma License. Please review the terms before use.

---

<div align="center">

Made with ❤️ in Bangladesh