arttupakarinen/fin-ai-chat-summarization.q4_k_m.gguf overview

{
  "metadata": {},
  "card_data": {
    "license": "apache-2.0",
    "language": [
      "fi"
    ],
    "base_model": [
      "LumiOpen/Viking-7B"
    ],
    "datasets": [
      "ArttuPakarinen/AI-chat-Summarization-FIN"
    ],
    "frontmatter": {
      "license": "apache-2.0",
      "language": [
        "fi"
      ],
      "base_model": [
        "LumiOpen/Viking-7B"
      ],
      "datasets": [
        "ArttuPakarinen/AI-chat-Summarization-FIN"
      ]
    },
    "hero_image_url": "",
    "summary": "Full fine-tune on LumiOpen's viking 7B, 4bit kvantization - for testing. Around 3-4 million tokens full fine tune to make the model produce summarization. Around 2-6 hours of compute on A100 GPU. Partial dataset provided on the model card - other datasets used were Diagsum and Samsum, which were autotranslated to finnish. Model works fine for it's purpose, even in this low-parameter and low kvantization mode. Model has been trained to start \"first prompt\" with \"Ihminen aloittaa keskustelun AI-botin kanssa\\n\\n\". I call this 'First summanry'. Without adding the first summanry, some weird behaviour may occur. **Examples** *Example1* ***INPUT*** ``text Ihminen aloittaa keskustelun AI-botin kanssa. Ihminen: Hei mitä kuuluu? AI-botti: Hyvää kuuluu, kuinka voi palvellla? ###TIIVISTELMÄ### ` ***OUTPUT*** `text Ihminen ja AI-botti tervehtivät toisiaan ja AI-botti kysyy kuinka voi palvella. ` --------------- The idea is to summarize the chat context, and to be able to continue chatting, by using the produced summarization in the begigning of the next prompt. --------------- *Example2* ***INPUT*** `text Ihminen ja AI-botti tervehtivät toisiaan ja AI-botti kysyy kuinka voi palvella. Ihminen: Kuinka paljon ihmisiä Suomessa asuu? AI-botti: Suomessa asuu n. 5,5 miljoonaa ihmistä. ###TIIVISTELMÄ### ` ***OUTPUT*** `text Ihminen ja AI-botti tervehtivät toisiaan, jonka jälkeen ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä. ` --------------- In theory, the model can be used to produce AI responses, but the model will always produce \\#\\#\\#TIIVISTELMÄ\\#\\#\\# \\ This means, if you want to produce AI answer, it is completely possible by ending the prompt with \"\\nAI-botti: \", but you need to parse the summarization part away from the response. --------------- *Example3* ***INPUT*** `text Ihminen ja AI-botti tervehtivät toisiaan, jonka jälkeen ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä. Ihminen: Ahaa, mutta entäs Ruotsissa? AI-botti: ` ***OUTPUT*** `text Ruotsissa asuu lähes tuplasti väkeä Suomeen verrattuna, reilut 10 miljoonaa asukasta. ###TIIVISTELMÄ### Ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä. Ihminen kysyi paljonko Ruotsissa asuu ihmisiä, johon AI-botti vastasi että lähes tuplasti Suomeen verrattuna, päälle 10 miljoonaa ihmistä. ``",
    "quick_links": [],
    "benchmark_table_html": "",
    "readme_markdown": "---\nlicense: apache-2.0\nlanguage:\n- fi\nbase_model:\n- LumiOpen/Viking-7B\ndatasets:\n- ArttuPakarinen/AI-chat-Summarization-FIN\n---\n\nFull fine-tune on LumiOpen's viking 7B, 4bit kvantization - for testing.\n\nAround 3-4 million tokens full fine tune to make the model produce summarization.\n\nAround 2-6 hours of compute on A100 GPU.\n\nPartial dataset provided on the model card - other datasets used were Diagsum and Samsum, which were autotranslated to finnish.\n\nModel works fine for it's purpose, even in this low-parameter and low kvantization mode.\n\nModel has been trained to start \"first prompt\" with \"Ihminen aloittaa keskustelun AI-botin kanssa\\n\\n\". I call this 'First summanry'. Without adding the first summanry, some weird behaviour may occur.\n\n**Examples**\n\n*Example1*\n\n***INPUT***\n\n```text\nIhminen aloittaa keskustelun AI-botin kanssa.\n\nIhminen: Hei mitä kuuluu?\n\nAI-botti: Hyvää kuuluu, kuinka voi palvellla?\n\n###TIIVISTELMÄ###\n```\n\n***OUTPUT***\n\n```text\nIhminen ja AI-botti tervehtivät toisiaan ja AI-botti kysyy kuinka voi palvella.\n```\n\n\n\n---------------\n\nThe idea is to summarize the chat context, and to be able to continue chatting, by using the produced summarization in the begigning of the next prompt.\n\n---------------\n\n*Example2*\n\n***INPUT***\n\n```text\nIhminen ja AI-botti tervehtivät toisiaan ja AI-botti kysyy kuinka voi palvella.\n\nIhminen: Kuinka paljon ihmisiä Suomessa asuu?\n\nAI-botti: Suomessa asuu n. 5,5 miljoonaa ihmistä.\n\n###TIIVISTELMÄ###\n```\n\n***OUTPUT***\n\n```text\nIhminen ja AI-botti tervehtivät toisiaan, jonka jälkeen ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä.\n```\n\n\n\n---------------\n\nIn theory, the model can be used to produce AI responses, but the model will always produce \n\n\\#\\#\\#TIIVISTELMÄ\\#\\#\\#\n\n\\<summarization\\>\n\n\n\nThis means, if you want to produce AI answer, it is completely possible by ending the prompt with \"\\nAI-botti: \", but you need to parse the summarization part away from the response.\n\n\n---------------\n\n*Example3*\n\n***INPUT***\n\n```text\nIhminen ja AI-botti tervehtivät toisiaan, jonka jälkeen ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä.\n\nIhminen: Ahaa, mutta entäs Ruotsissa?\n\nAI-botti: \n```\n\n***OUTPUT***\n\n```text\nRuotsissa asuu lähes tuplasti väkeä Suomeen verrattuna, reilut 10 miljoonaa asukasta. \n\n###TIIVISTELMÄ###\n\nIhminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä. Ihminen kysyi paljonko Ruotsissa asuu ihmisiä, johon AI-botti vastasi että lähes tuplasti Suomeen verrattuna, päälle 10 miljoonaa ihmistä.\n```",
    "related_quantizations": []
  },
  "tags": [
    "gguf",
    "fi",
    "dataset:ArttuPakarinen/AI-chat-Summarization-FIN",
    "base_model:LumiOpen/Viking-7B",
    "base_model:quantized:LumiOpen/Viking-7B",
    "license:apache-2.0",
    "endpoints_compatible",
    "region:us"
  ],
  "likes": 0,
  "downloads": 82,
  "gated": false,
  "private": false,
  "last_modified": "2026-03-26T11:51:08.000Z",
  "created_at": "2026-01-15T09:29:33.000Z",
  "pipeline_tag": "",
  "library_name": ""
}

{
  "_id": "6968b37d12b6bd40e1495d53",
  "id": "ArttuPakarinen/FIN-ai-chat-summarization.Q4_K_M.gguf",
  "modelId": "ArttuPakarinen/FIN-ai-chat-summarization.Q4_K_M.gguf",
  "sha": "79752e04ec066b5dd7f1edb91e3fb5724cb8267c",
  "createdAt": "2026-01-15T09:29:33.000Z",
  "lastModified": "2026-03-26T11:51:08.000Z",
  "author": "ArttuPakarinen",
  "downloads": 82,
  "likes": 0,
  "gated": false,
  "private": false,
  "pipeline_tag": "",
  "library_name": "",
  "siblings_count": 3
}