Mankei-326M-Reranker

Deutscher Cross-Encoder-Reranker mit 326M Parametern. Bewertet Query-Passage-Paare und ordnet die Top-k eines Retrieval-Schritts neu — die zweite, präzise Stufe hinter dem Mankei-326M-Embedder. Für souveränes RAG on-premise.

Benchmark — deutsches Reranking (GermanDPR)

Ausgewertet auf 250 zurückgehaltenen GermanDPR-Fragen (je 1 relevante + 5 harte Negativ-Passagen; nicht im Training). Metriken: Trefferquote auf Rang 1 (Acc@1) und Mean Reciprocal Rank (MRR).

Modell	Größe	Acc@1	MRR
Mankei-326M-Reranker	0,33 B	92,8 %	0,963
bge-reranker-v2-m3	0,57 B	87,2 %	—
cross-encoder-german (mmarco)	0,14 B	74,0 %	—

Der spezialisierte deutsche Reranker liegt vor dem multilingualen SOTA-Reranker (bge-reranker-v2-m3) und dem deutschen mMARCO-Cross-Encoder.

Verwendung

from transformers import AutoModel, AutoTokenizer
from huggingface_hub import hf_hub_download
import torch, torch.nn as nn

repo = "keyvan-ai/Mankei-326M-Reranker"
tok  = AutoTokenizer.from_pretrained(repo)
base = AutoModel.from_pretrained(repo, dtype=torch.bfloat16).eval()
head = nn.Linear(base.config.hidden_size, 1)
head.load_state_dict(torch.load(hf_hub_download(repo, "head.pt")))

@torch.no_grad()
def score(query, passages):
    x = tok([f"Frage: {query}\nPassage: {p}" for p in passages],
            padding=True, truncation=True, max_length=192, return_tensors="pt")
    h = base(**x).last_hidden_state
    idx = x.attention_mask.sum(1) - 1                       # Last-Token-Pooling
    return head(h[torch.arange(h.size(0)), idx].float()).squeeze(-1)  # höher = relevanter

# Kandidaten aus dem Embedder neu ordnen:
passages = ["Die Kündigung des Mietvertrags ...", "Der Kaufvertrag ...", "München ist ..."]
ranking = sorted(zip(score("Wie kündige ich meine Wohnung?", passages).tolist(), passages), reverse=True)

Rolle im RAG

Zweistufig: der Embedder holt die Kandidaten (hoher Durchsatz), der Reranker schärft die Reihenfolge der Top-k. Beide 326M, on-premise, CPU- bis GPU-tauglich.

Training

Supervidiert auf GermanDPR (CC-BY): Listwise-Loss (softmax-Cross-Entropy über die relevante Passage + harte Negative), Last-Token-Pooling + lineare Relevanzschicht (head.pt im Repo), LoRA auf dem deutschen Mankei-Basismodell. Die 250 Benchmark-Fragen sind vom Training ausgeschlossen.