Llama-Gemma-2-27b-SFT-trial1

概要

google/gemma-2-27bを教師あり学習によりInstruction Tuningしたモデルです。

松尾研大規模言語モデル講座2024のコンペ用の提出モデル作成の一環として作成・公開しています。

This model is built with Llama and Qwen.

使用データセット

• Aratako/Magpie-Tanuki-Qwen2.5-72B-Answered
• Aratako/magpie-qwen2.5-32b-reasoning-100k-formatted
• Aratako/magpie-reasoning-llama-nemotron-70b-100k-filtered
• Aratako/Open-Platypus-Japanese-masked-formatted
• kanhatakeyama/wizardlm8x22b-logical-math-coding-sft_additional-ja
• kanhatakeyama/ramdom-to-fixed-multiturn-Calm3
• Aratako/magpie-ultra-v0.1-formatted
• Aratako/orca-agentinstruct-1M-v1-selected
• Aratako/Synthetic-JP-EN-Coding-Dataset-801k-50k

ライセンス

本モデルは学習に利用したデータの関係で以下のライセンスの影響を受けます。

• META LLAMA 3.1 COMMUNITY LICENSEを継承します。
• Gemma Terms of Useを継承します。
• Qwen LICENSE AGREEMENTの影響を受けます。ライセンスは継承しませんが、「Built with Qwen」のような文言を記載する必要があります。

学習に関する詳細

本モデルの学習にはaxolotlを使いました。パラメータ等の学習の設定は下記の自動生成された記述をご確認ください。

👁 Built with Axolotl

fft-1

This model is a fine-tuned version of google/gemma-2-27b on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.6122

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 8
• eval_batch_size: 1
• seed: 42
• distributed_type: multi-GPU
• num_devices: 7
• gradient_accumulation_steps: 4
• total_train_batch_size: 224
• total_eval_batch_size: 7
• optimizer: Use OptimizerNames.PAGED_ADAMW_8BIT with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• lr_scheduler_warmup_steps: 10
• num_epochs: 2

Training results

Framework versions

• Transformers 4.46.3
• Pytorch 2.3.1+cu121
• Datasets 3.1.0
• Tokenizers 0.20.3

Base model

google/gemma-2-27b

(27)