WariHima/hourai3-7m-embedding-ja-gguf overview

---

license: cc-by-sa-4.0

language:

• ja

base_model:

• WariHima/hourai3-7m-embedding-ja

---

蓬莱3 7m embedding gguf

can use upsteream llama.cpp

qunat type

• BF16

変換時、lof2moeがgpt-2トークナイザで使用することを想定されていなかったため、
llama.cppリポジトリのconversion/base.pyファイルの
以下のエラーをバイパスする必要がありました。
1687=1699付近
        if res is None:
            logger.warning("\n")
            logger.warning("**************************************************************************************")
            logger.warning("** WARNING: The BPE pre-tokenizer was not recognized!")
            logger.warning("**          There are 2 possible reasons for this:")
            logger.warning("**          - the model has not been added to convert_hf_to_gguf_update.py yet")
            logger.warning("**          - the pre-tokenization config has changed upstream")
            logger.warning("**          Check your model files and convert_hf_to_gguf_update.py and update them accordingly.")
            logger.warning("** ref:     https://github.com/ggml-org/llama.cpp/pull/6920")
            logger.warning("**")
            logger.warning(f"** chkhsh:  {chkhsh}")
            logger.warning("**************************************************************************************")
            logger.warning("\n")
            
            return "default"
            #raise NotImplementedError("BPE pre-tokenizer was not recognized - update get_vocab_base_pre()")
想定されていないことによる変換時のエラーなので、推論時はmainstreamのllama.cppで動作します。