Large Language Models - RAG-Tuning und Evaluation

Sie erfahren, wie Sie die Qualität von RAG-Systemen bewerten und verbessern. Der Kurs vermittelt Metriken, Tuning-Strategien und Evaluationsmethoden für robuste und nachvollziehbare LLM-Anwendungen im Unternehmen. Dieses Seminar ist ein Angebot der PC-COLLEGE Gruppe.

Inhalt:

Grundlagen von Retrieval-Qualität - Metriken: Recall, Precision, nDCG - Warum klassisches IR- und LLM-Tuning zusammengehören Tuning-Strategien - Chunking-Varianten (Overlaps, Semantik-basiert) - Embedding-Modelle vergleichen - Index-Parameter optimieren (z. B. k, Abstandsmessung) Re-Ranking & Hybrid Search - Lexikalische + semantische Suche kombinieren - Einsatz von Cross-Encodern - Trade-offs zwischen Qualität und Kosten Evaluationstechniken - Human-in-the-loop Verfahren - Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval - Benchmark-Sets aufbauen Qualitätssicherung im Betrieb - Bias-Checks, Halluzinationsanalyse - Drift Detection bei Embeddings - Canary-Tests für neue Pipelines Monitoring & Reporting - KPI-Tracking: Retrieval-Präzision, Factuality - Dashboards für Stakeholder - Feedback Loops und kontinuierliche Verbesserung

Direktlink zum Kurs!

Teilnehmerzahl:

2 bis 8

Preis:

1.773,10 € inkl. MwSt. (pro Person)

Termine und Orte

Von	Bis	Ort
24.08.2026	25.08.2026	Wien
24.09.2026	25.09.2026	Wien
19.10.2026	20.10.2026	Wien
19.11.2026	20.11.2026	Wien
14.12.2026	15.12.2026	Wien