Aerner LM-v2

事前学習から全部日本語で学習させたモデルのバージョン2です。 LLaMAベースで、24GBのVRAMで事前学習できる規模に小さなモデルです。

Flash Attentionが使用されているOpenLLaMAを使用しています。 Wikipediaのデータが中心なので、回答はWikipediaっぽい感じになります。

V1に比べると、モノや場所などの概念を持っているようないないような。 データセットはV1と同じですが、学習ステップ数が76,000と延長。

学習記録はこちら https://wandb.ai/tahomatx/huggingface/runs/xyy19rbx

Instruction-Answer例 ※ モデルは、Instructionの後に、Answerを追記します。入力は、Instruction部分までを入力します。

### Instruction:
東京駅について説明してください。

### Context:



### Answer:
東急東横線・神楽坂駅から徒歩約10分のところに位置している。改札口は1ヶ所のみで、乗車券は駅前ロータリーに設置されており、自動券売機等の設備はない。出入口は1番から4番までの合計6ヵ所あり、それぞれのホームには駐輪場が設けられている（2019年3月現在）。 ⁇ 無人駅である。 ⁇ 簡易委託駅であったが、2018年3月31日をもって廃止され、有人駅時代の駅舎は取り壊されてしまった。
JR東日本ステーションサービスによる業務

### Instruction:
ドラえもんについて説明してください。


### Context:



### Answer:
2007年10月1日から2008年3月31日まで放送された約5分の短編ドラマ。主演は声優の山口智充、脚本・演出は鈴木亜美子。原作とは異なるストーリーが展開されており、登場人物の設定もそれに合わせて変更され ている。

サンプルコードです。

from transformers import OpenLlamaForCausalLM, LlamaTokenizer, GenerationConfig, TextStreamer, AutoModelForCausalLM
import torch
import random
import numpy as np
import time


#
# Fix seed
#

seed = 42

random.seed(seed)
# Numpy
np.random.seed(seed)
# Pytorch
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.backends.cudnn.deterministic = True
torch.use_deterministic_algorithms = True

torch.set_default_dtype(torch.bfloat16)


model_id = "aerner/lm-v2"

text = """### Instruction:
東京駅について説明してください。

### Context:



### Answer:
"""

with torch.no_grad():
 tokenizer = LlamaTokenizer.from_pretrained(model_id)
 model = AutoModelForCausalLM.from_pretrained(
 model_id,
 device_map="auto",
 torch_dtype=torch.bfloat16,
 # load_in_8bit=True,
 )

 generation_config = GenerationConfig(
 max_new_tokens=256,
 min_new_tokens=1,
 early_stopping=True,

 do_sample=True,
 num_beams=8,

 temperature=1.0,
 top_p=0.6,

 penalty_alpha=0.4,
 no_repeat_ngram_size=4,
 repetition_penalty=1.4,

 remove_invalid_values=True,
 num_return_sequences=1,
 )

 start = time.time()

 tokenized_input = tokenizer(text, return_tensors="pt").to('cuda')
 generation_output = model.generate(
 input_ids=tokenized_input['input_ids'],
 generation_config=generation_config,
 return_dict_in_generate=True,
 output_scores=True,
 )
 for s in generation_output.sequences:
 output = tokenizer.decode(s)
 print(output)

 print(time.time() - start)