VOOZH about

URL: https://huggingface.co/Brunobkr/OFFELLIA_IQ4_NL_Huihui-Qwable-3.6-27b-abliterated-MTP.gguf

⇱ Brunobkr/OFFELLIA_IQ4_NL_Huihui-Qwable-3.6-27b-abliterated-MTP.gguf · Hugging Face


👁 ΩFFΣLLIα

ΩFFΣLLIα — Quantização GGUF Zetahelicoidal

Modelo convertido para o formato GGUF com a quantização ΩFFΣLLIα / Zetahelicoidal, desenvolvida e aplicada sobre o pipeline de quantização do llama.cpp. Compatível com llama.cpp, llama-server, Ollama, LM Studio, KoboldCpp, text-generation-webui e demais ferramentas que suportam GGUF.

Este é um derivado quantizado. Todos os créditos dos pesos e da arquitetura original conforme o modelo-base e a quantização específica deste repositório: https://huggingface.co/huihui-ai/Huihui-Qwable-3.6-27b-abliterated-MTP-GGUF

迫於無奈,我們只好發揮創意。

https://huggingface.co/Brunobkr

https://huggingface.co/datasets/Brunobkr/OFFELLIA_Kernel_llama-server

📌 Visão geral

Item Valor
Variante ΩFFΣLLIα / Zetahelicoidal
Formato GGUF
Quantização (ΩFFΣLLIα) Brunobkr
Abliteração Heretic (AGPL-3.0)

🧬 Quantização Zetahelicoidal (ΩFFΣLLIα)

A ΩFFΣLLIα / Zetahelicoidal é uma variante de quantização para GGUF que atua como uma camada de pré-condicionamento determinística e reversível, aplicada bloco a bloco antes da quantização padrão do GGML/llama.cpp e desfeita na dequantização. Ela não substitui os formatos nativos (Q4_K, Q8_0, IQ4_XS, IQ4_NL, MXFP4_MOE, etc.) — opera sobre eles, mantendo compatibilidade total com qualquer runtime que carregue GGUF.

Por ser determinística e reversível, os pesos efetivos durante a inferência correspondem aos do modelo base submetidos ao formato de quantização escolhido.


🚀 Uso rápido com llama.cpp

# CLI
llama-cli -m <NOME_DO_ARQUIVO>.gguf \
 -p "Escreva um haiku sobre GPUs" \
 -c 8192 -ngl 99

# Servidor (API compatível com OpenAI)
llama-server -m <NOME_DO_ARQUIVO>.gguf \
 -c 8192 -ngl 99 --port 8080

Exemplo de chamada à API do llama-server:

curl http://127.0.0.1:8080/v1/chat/completions \
 -H "Content-Type: application/json" \
 -d '{"messages":[{"role":"user","content":"Olá!"}],"stream":false}'

Download

huggingface-cli download Brunobkr/<seu-repo> \
 <NOME_DO_ARQUIVO>.gguf \
 --local-dir ./models

Outras ferramentas

  • Ollama: ollama create <nome> -f Modelfile apontando FROM ./<NOME_DO_ARQUIVO>.gguf
  • LM Studio / KoboldCpp / text-generation-webui: carregue o .gguf diretamente pela interface.

🎯 Casos de uso

Geração e edição de texto, chat e IA conversacional, sumarização, assistentes de código e fluxos agênticos — conforme as capacidades do modelo base escolhido.


##CARD genérico se modelo heretic ou relativo:

🔓 Heretic — Abliteração e licença (AGPL-3.0)

Uso responsável: por se tratar de um modelo com alinhamento de segurança modificado, o usuário é o único responsável pelo uso, em conformidade com a licença do modelo base e a legislação aplicável.


⚠️ Notas e limitações

  • Trata-se de um derivado quantizado; os pesos efetivos na inferência correspondem aos do modelo base submetidos ao formato de quant escolhido.
  • O alinhamento de segurança foi removido via Heretic — avalie o comportamento no seu caso de uso.
  • Os parâmetros de geração (temperatura, top_p, top_k, template de chat, tokens especiais) seguem as recomendações do modelo base — consulte o card original.
  • Avalie empiricamente perplexidade/qualidade do GGUF resultante no seu fluxo de trabalho.

📚 Referências


✍️ Citação

@misc{becker_offsellia_zetahelicoidal,
 title = {ΩFFΣLLIα: Zetahelicoidal quantization layer for GGUF / llama.cpp},
 year = {2026},
 howpublished = {Hugging Face},
 note = {Determinístic, reversible per-block pre-conditioning kernel},
 url = {https://huggingface.co/Brunobkr}
}
Downloads last month
342
GGUF
Model size
27B params
Architecture
qwen35
Hardware compatibility
Log In to add your hardware

4-bit