Large Language Models - RAG-Tuning und Evaluation

Sie erfahren, wie Sie die Qualität von RAG-Systemen bewerten und verbessern. Der Kurs vermittelt Metriken, Tuning-Strategien und Evaluationsmethoden für robuste und nachvollziehbare LLM-Anwendungen im Unternehmen.

Dieses Seminar ist ein Angebot der PC-COLLEGE Gruppe.

Inhalt:

Grundlagen von Retrieval-Qualität
- Metriken: Recall, Precision, nDCG
- Warum klassisches IR- und LLM-Tuning zusammengehören
Tuning-Strategien
- Chunking-Varianten (Overlaps, Semantik-basiert)
- Embedding-Modelle vergleichen
- Index-Parameter optimieren (z. B. k, Abstandsmessung)
Re-Ranking & Hybrid Search
- Lexikalische + semantische Suche kombinieren
- Einsatz von Cross-Encodern
- Trade-offs zwischen Qualität und Kosten
Evaluationstechniken
- Human-in-the-loop Verfahren
- Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval
- Benchmark-Sets aufbauen
Qualitätssicherung im Betrieb
- Bias-Checks, Halluzinationsanalyse
- Drift Detection bei Embeddings
- Canary-Tests für neue Pipelines
Monitoring & Reporting
- KPI-Tracking: Retrieval-Präzision, Factuality
- Dashboards für Stakeholder
- Feedback Loops und kontinuierliche Verbesserung

Direktlink zum Kurs!

Teilnehmerzahl:

2 bis 8

Preis:

1.773,10 € inkl. MwSt. (pro Person)

Termine und Orte

Von	Bis	Ort
09.04.2026	10.04.2026	Wien
04.05.2026	05.05.2026	Wien
01.06.2026	02.06.2026	Wien
29.06.2026	30.06.2026	Wien
30.07.2026	31.07.2026	Wien
24.08.2026	25.08.2026	Wien
24.09.2026	25.09.2026	Wien