Large Language Models - RAG-Tuning und Evaluation

Sie erfahren, wie Sie die Qualität von RAG-Systemen bewerten und verbessern. Der Kurs vermittelt Metriken, Tuning-Strategien und Evaluationsmethoden für robuste und nachvollziehbare LLM-Anwendungen im Unternehmen.

Dieses Seminar ist ein Angebot der PC-COLLEGE Gruppe.

Inhalt:

• Grundlagen von Retrieval-Qualität
• - Metriken: Recall, Precision, nDCG
• - Warum klassisches IR- und LLM-Tuning zusammengehören
• Tuning-Strategien
• - Chunking-Varianten (Overlaps, Semantik-basiert)
• - Embedding-Modelle vergleichen
• - Index-Parameter optimieren (z. B. k, Abstandsmessung)
• Re-Ranking & Hybrid Search
• - Lexikalische + semantische Suche kombinieren
• - Einsatz von Cross-Encodern
• - Trade-offs zwischen Qualität und Kosten
• Evaluationstechniken
• - Human-in-the-loop Verfahren
• - Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval
• - Benchmark-Sets aufbauen
• Qualitätssicherung im Betrieb
• - Bias-Checks, Halluzinationsanalyse
• - Drift Detection bei Embeddings
• - Canary-Tests für neue Pipelines
• Monitoring & Reporting
• - KPI-Tracking: Retrieval-Präzision, Factuality
• - Dashboards für Stakeholder
• - Feedback Loops und kontinuierliche Verbesserung

Direktlink zum Kurs!

2 bis 8

Anbieter-Zertifikat

1.773,10 € (pro Person)

Präsenzkurs

Tageskurs

Termine und Orte

Von	Bis	Ort	Durchführungs- garantie	Frühbucher bis Betrag	Lastminute ab Betrag
12.02.2026	13.02.2026	Wien
09.03.2026	10.03.2026	Wien
09.04.2026	10.04.2026	Wien
04.05.2026	05.05.2026	Wien
01.06.2026	02.06.2026	Wien
29.06.2026	30.06.2026	Wien
30.07.2026	31.07.2026	Wien
24.08.2026	25.08.2026	Wien
24.09.2026	25.09.2026	Wien