Sans censure et sans perte cognitive : Ablitération orthogonale des poids et vérification à 6 vecteurs sur bf16.ai
Pourquoi les fine-tunings approximatifs et la quantification agressive dégradent les maths et le JSON — et comment bf16.ai soumet chaque endpoint à une vérification comportementale obligatoire à 6 vecteurs.
TL;DR · Qualité des Modèles & Vérification
- Pourquoi certains modèles uncensored déçoivent : Un SFT destructeur combiné à une quantification
Q3/NVFP4cachée et une troncature à64Kcasse la logique mathématique et lestool_calls.- Projection orthogonale de rang 1 : Supprime uniquement la direction 1D de refus
r̂(W' = W - r̂(r̂ᵀW)) tout en préservant l’intégralité de l’espace de raisonnement.- Grille de vérification imposée en base PostgreSQL : Un endpoint ne peut passer actif sur bf16.ai qu’après avoir réussi une vérification à 6 vecteurs amorcée par CSPRNG, et toute erreur amont survenant avant le premier token rembourse automatiquement
100 %de la réservation.
1. Le secret mal gardé des API open-weight : quantification cachée et troncature
La mauvaise réputation dite de « brain damage » provient presque toujours d’un réentraînement brutal ou d’hébergeurs annonçant 1M de contexte tout en servant des poids Q3_K_M tronqués à 64K — des défauts immédiatement démasqués par nos sondes temperature=0 et passkey 200K :
[bf16-verifier] Probing candidate upstream endpoint: "provider-x/flagship-abliterated-1m"
[bf16-verifier] V1 Tokenizer BPE boundary ............ PASS
[bf16-verifier] V5 Dual-use low-refusal fidelity ..... PASS
[bf16-verifier] V2 Symbolic Math Canary (temp=0) ..... FAIL (drift detected: NVFP4/Q3 quant!)
[bf16-verifier] V3 Passkey NIAH @ 196,608 tokens ..... FAIL (silent middle-out truncation >64K)
[bf16-verifier] V4 Parallel JSON Tool Grammar ........ FAIL (unescaped trailing comma)
[bf16-verifier] Verdict: FAIL (3 vectors below their floor). Endpoint REJECTED by DB CHECK constraint.
2. Pourquoi l’ablitération orthogonale de rang 1 préserve le code et le JSON Schema
Le refus excessif dans un Transformer est principalement piloté par une seule direction r̂ du flux résiduel. En projetant orthogonalement r̂ hors des matrices d’écriture en float32, les milliers d’autres dimensions dédiées au code et à la grammaire JSON restent intactes. De plus, bf16.ai bloque par contrainte SQL tout endpoint n’ayant pas validé notre grille à 6 vecteurs — maths symboliques, passkey NIAH 200K+, grammaire JSON parallèle et sondes low-refusal.
3. Algèbre linéaire sous le capot et interrogation du catalogue sur bf16.ai
Voici la projection orthogonale de rang 1 en PyTorch appliquée aux tenseurs d’écriture résiduelle :
import torch
def orthogonalize_refusal_direction(weight: torch.Tensor, refusal_dir: torch.Tensor) -> torch.Tensor:
"""
Rank-1 orthogonal projection in bfloat16/float32 (Arditi et al. formulation):
Removes ONLY the 1D refusal mediator subspace r_hat from residual-writing matrix W,
leaving the (d_model - 1)-dimensional reasoning & tool-calling subspace untouched.
"""
r_hat = refusal_dir / torch.linalg.norm(refusal_dir)
r_hat = r_hat.to(dtype=torch.float32, device=weight.device)
w_fp32 = weight.to(torch.float32)
# W' = W - (W @ r_hat)[:, None] * r_hat[None, :] (for output-feature projection)
projection = torch.outer(r_hat, r_hat @ w_fp32)
return (w_fp32 - projection).to(weight.dtype)
Chaque fiche modèle sur bf16.ai/models/<slug> indique la fenêtre de contexte, les tarifs et les garanties ZDR du modèle — et vous pouvez interroger ce même catalogue directement via GET /v1/models :
# Inspect context windows & pricing before routing agent jobs
curl -sS https://api.bf16.ai/v1/models \
-H "Authorization: Bearer $BF16_API_KEY" | jq '.data[] | {
id,
context_window,
pricing_usd_per_1m
}'
# Route via bf16/auto with a deterministic output price ceiling ($1.50 / 1M max)
curl -sS https://api.bf16.ai/v1/chat/completions \
-H "Authorization: Bearer $BF16_API_KEY" \
-H "X-BF16-Max-Price-Per-M-Output: 1.50" \
-H "Content-Type: application/json" \
-d '{
"model": "bf16/auto:coding",
"temperature": 0,
"messages": [{"role": "user", "content": "Emit a strict JSON schema patch for session fixation."}]
}'
4. Les 3 modèles à contexte 1M sur bf16.ai (parité tarifaire officielle)
Plutôt que d’empiler des dizaines de fusions expérimentales instables, bf16.ai sélectionne 3 modèles de production à contexte 1M, tous soumis à la même grille à 6 vecteurs et alignés sur les tarifs officiels :
| ID du Modèle | Tarif Retail (In / Cache / Out 1M) | Point Fort Principal |
|---|---|---|
deepseek/deepseek-v4.1-flash-abliterated | $0.30 / $0.05 / $1.20 | Boucles MausBot 24/7 & CLI rapide |
zai-org/glm-5.3-flash-abliterated | $0.24 / $0.06 / $1.00 | Vision + Texte Browser-Use & ETL |
zai-org/glm-5.3-abliterated | $1.40 / $0.30 / $4.40 | Correctifs SAST & diffs de code complexes |
5. 4 garanties comptables et de routage vérifiables
$0.00facturé en cas d’erreur amont avant le premier token grâce au grand livre en nano-USD.- Testez vos propres sondes
temperature=0dans/playgroundavec le crédit d’essai gratuit de$1.00. - Verrouillez un plafond unitaire via
X-BF16-Max-Price-Per-M-Output. - Catalogue
/v1/modelspropre, sans entrées fictives ni dégradation silencieuse.