GGUF版はこちらascktgcc/Mistral-nemo-ja-rp-v0.2-GGUF

概要

Mistral-nemoをEPR用途向けにファインチューニングしたモデルです

日本語を含めたデータセットを使用してファインチューニングしたためmagnumのようなモデルよりも日本語力が上がっているはず

Mistral-NemoベースなのでTemperatureは0.3を基準に調整することを推奨

system promptに日本語で出力する旨を記載することで英語が混じる問題を抑制できます

v0.1からの変更点

• データセットの追加
• データセットのsystem promptに<データセットの言語>で出力する指示を追加
• エポックを9倍に増加

使用させていただいたデータセット

• kalomaze/Opus_Instruct_25k
• Nopm/Opus_WritingStruct
• anthracite-org/kalo-opus-instruct-22k-no-refusal
• Aratako/Synthetic-Japanese-Roleplay-NSFW-Claude-3.5s-15.3k-formatted
• Aratako/Synthetic-Japanese-Roleplay-gpt-4o-mini-39.6k-formatted
• kalomaze/Opus_Instruct_3k

(追加分)

• anthracite-org/kalo_opus_misc_240827
• anthracite-org/kalo_misc_part2
• anthracite-org/c2_logs_32k_llama3_qwen2_v1.2

Base model

mistralai/Mistral-Nemo-Base-2407

mistralai/Mistral-Nemo-Instruct-2407

(216)