Assistant Questions/Réponses en Wolof (Qwen2.5-1.5B + LoRA)

Projet de Master 2 Systèmes d'Information — fine-tuning d'un LLM multilingue pour répondre à des questions en wolof.

Détails

• Modèle de base : Qwen/Qwen2.5-1.5B-Instruct
• Méthode : fine-tuning LoRA (r=16)
• Données : AfriQA (config wol, Masakhane/GalsenAI) + paires maison vérifiées
• Tâche : question (wolof) -> réponse (wolof)

Utilisation

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = "Qwen/Qwen2.5-1.5B-Instruct"
tok = AutoTokenizer.from_pretrained(base)
m = AutoModelForCausalLM.from_pretrained(base, torch_dtype=torch.float16)
m = PeftModel.from_pretrained(m, "toussaint432/qwen-wolof-qa-lora") # <- charge l'adaptateur

msg = [{"role":"user","content":"Naka nga def ?"}]
x = tok.apply_chat_template(msg, add_generation_prompt=True, return_tensors="pt", return_dict=True)
out = m.generate(**x, max_new_tokens=64)
print(tok.decode(out[0][x["input_ids"].shape[1]:], skip_special_tokens=True))

Limites

Modèle de petite taille entraîné sur peu de données : il peut se tromper ou sortir du sujet. À usage pédagogique. Pour une fiabilité factuelle, prévoir une approche RAG.

Base model