wikipedia jp(追記: 作成スクリプトを確認したところ、日本語wikipediaのみを利用していました)のデータを unidic で分割 + sentencepiece Unigram で学習した、XLM-Roberta 形式の日本語トークナイザ。
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support
![]() |
VOOZH | about |
wikipedia jp(追記: 作成スクリプトを確認したところ、日本語wikipediaのみを利用していました)のデータを unidic で分割 + sentencepiece Unigram で学習した、XLM-Roberta 形式の日本語トークナイザ。