No description
Nutzer hat für diese Sitzung Zugriff auf einen echten Ollama-Server bereitgestellt (embeddinggemma + qwen3-Modelle installiert) - damit live getestet und kalibriert, nicht nur gegen Mocks. agent/lib/embeddings.js (neu): Embeddings über Ollama /api/embed, mit Platten-Cache (SHA-256-Schlüssel, übersteht Neustarts), Batch-Requests, und garantiertem Fallback (wirft nie, liefert bei Fehler/Deaktivierung null statt zu crashen). Unit-Tests ohne echten Server (embeddings.test.mjs, Mock-Fetch). agent/lib/search.js: Reciprocal Rank Fusion (k=60) verschmilzt die BM25-Rangliste mit einer Kosinus-Ähnlichkeits-Rangliste (Schwelle 0,3). Gewichtung des semantischen Anteils (RRF_SEMANTIC_WEIGHT) systematisch gegen die 40 Testfragen kalibriert (1.0/0.5/0.4/0.3/0.2 durchgemessen, 0.3 gewählt) - Gleichgewichtung verschlechterte Recall@5/MRR bei kurzen/ präzisen Anfragen spürbar. search()/searchWithInfo() sind jetzt async (Ollama-Embedding-Aufrufe sind Netzwerk-I/O); alle Aufrufer (server.js /api/search, llm/index.js prepareRequest, eval/run.mjs) entsprechend angepasst. Ergebnis (echter Server, embeddinggemma, Gewicht 0.3): Recall@5 0,821→0,846, Recall@14 0,908→0,950, MRR 0,740→0,725. Nur noch 3 von 40 Testfragen mit Recall@14 < 1 (vorher 6). Bei deaktivierten Embeddings (Standard) exakt unverändertes Verhalten, erneut bestätigt. Wichtiger Nebenbefund (dokumentiert, nicht behoben): Der verbleibende "DOK-0336"-Fall lag NICHT an fehlenden Embeddings (Kosinus-Ähnlichkeit 0,323, über der Schwelle), sondern an einem vorbestehenden, von Teil C unberührten Mechanismus in extractStructuredFilters(), der "Gemeinde" als Satzsubjekt fälschlich als Absender-Partei-Filter interpretiert und das RSM-eigene Server-Log dadurch aus dem Kandidatenpool ausschließt. Query-Rewriting durch qwen3 (zweiter Teil von C.7) bewusst NICHT umgesetzt - Begründung in agent/eval/ergebnisse.md. Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com> |
||
|---|---|---|
| agent | ||
| aufgaben | ||
| datenbank | ||
| export | ||
| extraktion | ||
| quelldaten | ||
| CLAUDE.md | ||
| inventar.csv | ||