← ragx

Eval history

Every EVAL_LOG=1 run, recorded. Two metrics, kept separate: retrieval hit@k (did the gold chunk reach the generator) vs answer accuracy (was the final answer right). A green retrieval cell with a ✗ means good retrieval but a wrong answer; a red cell with a ✓ usually means the model answered from parametric memory, not the document.

View as timeline → — the runs in chronological order with the story and deltas.

embedder:ollama:nomic-embed-textollama:qwen3-embedding:0.6bopenai:Qwen/Qwen3-Embedding-8Bopenai:jina-embeddings-v3
label:ab:chunkab:embedderab:plannerab:retrievalchunk:ctx-prefixdeploy:finaldeploy:pg-chunks_v2deploy:pg-genfixdeploy:pg-judgeddeploy:q8-sfdeploy:q8-sf-xdocfixrerank:jina-rawtextrerank:jina-v2rrf:vw1.0rrf:vw1.2tbl:f3-nomictbl:family3tbl:family3btbl:inmem

Runs

WhenConfigLabelgitRetrievalAnswern
2026-06-25 18:01Qwen/Qwen3-Embedding-8B + deepseek-chat · k=20deploy:q8-sf-xdocfix16da4bb98%98%45
2026-06-25 17:44Qwen/Qwen3-Embedding-8B + deepseek-chat · k=20deploy:q8-sf16da4bb90%89%45
2026-06-25 11:58nomic-embed-text + deepseek-chat · k=20tbl:f3-nomic16da4bb88%91%45
2026-06-25 10:51jina-v3 + deepseek-chat · k=20tbl:family3b16da4bb80%89%45
2026-06-25 09:57jina-v3 + deepseek-chat · k=20tbl:family316da4bb65%87%45
2026-06-23 10:06jina-v3 + deepseek-chat · k=20tbl:inmem16da4bb75%98%45
2026-06-23 09:02jina-v3 + deepseek-chat · k=20deploy:final3a94a4e83%98%45
2026-06-23 06:04jina-v3 + deepseek-chat · k=20deploy:pg-judged9169c2b80%98%45
2026-06-23 05:06jina-v3 + deepseek-chat · k=20deploy:pg-genfixcd2972980%98%45
2026-06-22 06:08jina-v3 + deepseek-chat · k=20deploy:pg-chunks_v2aa47cbb80%91%45
2026-06-22 05:20jina-v3 + deepseek-chat · k=20rerank:jina-rawtext805cec685%87%45
2026-06-22 04:44jina-v3 + deepseek-chat · k=20rerank:jina-v2805cec673%80%45
2026-06-22 03:54jina-v3 + deepseek-chat · k=20chunk:ctx-prefix805cec670%80%45
2026-06-22 02:29jina-v3 + deepseek-chat · k=20rrf:vw1.294e485273%82%45
2026-06-22 02:27jina-v3 + deepseek-chat · k=20rrf:vw1.094e485270%82%45
2026-06-21 11:21jina-v3 + deepseek-chat · k=20ab:retrieval602548470%82%45
2026-06-21 11:18jina-v3 + deepseek-chat · k=20ab:retrieval602548463%78%45
2026-06-21 11:16jina-v3 + deepseek-chat · k=20ab:retrieval602548463%78%45
2026-06-21 09:58jina-v3 + deepseek-chat · k=20ab:planner1a133c463%80%46
2026-06-21 09:56jina-v3 + deepseek-chat · k=20ab:planner1a133c463%78%46
2026-06-19 08:23jina-v3 + deepseek-chat · k=20ab:chunk0562acf55%71%45
2026-06-18 21:17qwen3-embedding:0.6b + deepseek-chat · k=20ab:chunk0562acf57%71%45
2026-06-18 18:19nomic-embed-text + deepseek-chat · k=20ab:embedder4e2115455%71%45
2026-06-18 17:15qwen3-embedding:0.6b + deepseek-chat · k=20ab:embedder789d97648%71%45
2026-06-18 16:21jina-v3 + deepseek-chat · k=20ab:embedderc2bd01c63%78%45

Per-case grid

Cell colour = retrieval (■ hit, ■ miss, ■ absent). Glyph = answer (✓/✗).

configq001q002q003q004q005q006q007q008q009q010q011q012q013q014q015q016q017q018q019q020q021q022q023q024q025q026q027q028q029q030q031q032q033q034q035q036q037q038q039q040q041q042q043q044q045q046
Qwen/Qwen3-Embedding-8B + deepseek-chat · k=20 16da4bb✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✗✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓
Qwen/Qwen3-Embedding-8B + deepseek-chat · k=20 16da4bb✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✗✓✓✓✓✓✓✓✓✓✓✓✓✓✗✓✗✓✗✗✓✓
nomic-embed-text + deepseek-chat · k=20 16da4bb✓✓✓✓✓✓✓✓✓✓✓✓✗✓✓✓✓✓✓✓✓✗✗✗✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓
jina-v3 + deepseek-chat · k=20 16da4bb✓✓✓✓✓✓✓✓✓✗✓✓✗✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✗✓✗✓✓✗✓✓
jina-v3 + deepseek-chat · k=20 16da4bb✓✓✓✓✓✓✓✓✓✓✓✓✗✓✓✓✓✓✓✓✓✓✗✓✓✓✓✓✓✓✓✓✓✓✓✓✓✗✓✗✓✗✗✓✓
jina-v3 + deepseek-chat · k=20 16da4bb✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✗✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓
jina-v3 + deepseek-chat · k=20 3a94a4e✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✗✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓
jina-v3 + deepseek-chat · k=20 9169c2b✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✗✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓
jina-v3 + deepseek-chat · k=20 cd29729✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✗✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓
jina-v3 + deepseek-chat · k=20 aa47cbb✓✓✓✓✓✓✓✓✓✓✓✓✓✗✓✓✓✓✓✓✓✗✓✓✓✓✗✓✓✓✓✓✓✓✓✓✓✓✓✓✗✓✓✓✓
jina-v3 + deepseek-chat · k=20 805cec6✓✓✓✓✓✓✓✓✓✓✓✓✗✗✓✓✓✓✓✓✗✗✗✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✗✓✓✓✓✓
jina-v3 + deepseek-chat · k=20 805cec6✓✓✓✓✓✓✓✓✓✓✓✓✗✗✓✓✓✓✓✓✗✗✗✗✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✗✗✓✗✓✓
jina-v3 + deepseek-chat · k=20 805cec6✓✓✓✓✓✓✓✓✗✓✓✓✓✓✓✓✓✓✓✓✗✗✗✗✓✓✓✓✓✓✗✗✓✓✓✓✓✓✓✓✗✓✗✓✓
jina-v3 + deepseek-chat · k=20 94e4852✓✓✓✓✓✓✓✓✓✓✓✓✗✓✓✓✓✓✓✓✓✗✗✓✓✓✓✓✗✓✓✓✓✓✗✓✓✓✓✗✗✗✓✓✓
jina-v3 + deepseek-chat · k=20 94e4852✓✓✓✓✓✓✓✓✓✓✓✓✗✓✓✓✓✓✓✓✓✗✗✓✓✓✓✓✗✓✓✓✓✓✗✓✓✓✓✗✗✗✓✓✓
jina-v3 + deepseek-chat · k=20 6025484✓✓✓✓✓✓✓✓✓✓✓✓✗✓✓✓✓✓✓✓✓✗✗✓✓✓✓✓✗✓✓✓✓✓✗✓✓✓✓✗✗✗✓✓✓
jina-v3 + deepseek-chat · k=20 6025484✓✓✓✓✓✓✓✓✓✓✓✓✗✓✓✓✓✓✓✓✓✗✗✓✓✓✓✓✗✓✓✓✓✓✗✓✓✗✓✗✗✗✗✓✓
jina-v3 + deepseek-chat · k=20 6025484✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✗✗✓✓✓✓✓✗✓✗✓✓✓✗✓✓✗✓✗✗✗✗✓✓
jina-v3 + deepseek-chat · k=20 1a133c4✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✗✗✓✓✓✓✓✗✓✗✓✓✓✗✓✓✓✓✗✗✗✗✓✓✓
jina-v3 + deepseek-chat · k=20 1a133c4✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✗✗✓✓✓✓✓✗✓✗✓✓✓✗✓✓✗✓✗✗✗✗✓✓✓
jina-v3 + deepseek-chat · k=20 0562acf✓✓✓✓✗✓✗✓✓✓✓✓✓✗✓✓✓✓✓✓✗✗✗✓✓✓✓✓✗✓✗✓✓✓✓✓✓✗✓✗✗✗✗✓✓
qwen3-embedding:0.6b + deepseek-chat · k=20 0562acf✓✓✓✓✗✓✗✓✓✓✓✓✓✗✓✓✓✓✓✓✗✗✗✓✓✓✓✓✓✓✗✗✓✓✓✓✓✗✓✗✗✗✗✓✓
nomic-embed-text + deepseek-chat · k=20 4e21154✓✓✓✓✓✓✗✓✓✓✓✓✗✓✓✓✓✓✓✓✓✗✗✗✓✓✓✓✗✓✗✓✓✓✗✓✓✗✓✗✗✗✗✓✓
qwen3-embedding:0.6b + deepseek-chat · k=20 789d976✓✓✓✓✓✓✓✓✓✓✓✓✗✗✓✓✓✓✓✓✗✗✗✓✓✓✓✓✗✓✗✓✓✓✗✓✓✓✗✗✗✗✗✓✓
jina-v3 + deepseek-chat · k=20 c2bd01c✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✗✗✓✓✓✓✓✗✓✗✓✓✓✗✓✓✗✓✗✗✗✗✓✓