Beschreibung
Der AI Agent Quality Professional (aixqs) zeigt, wie Qualität bei LLM-, RAG- und Agentensystemen systematisch entsteht und über den gesamten Entwicklungszyklus abgesichert wird. Im Mittelpunkt steht die Frage, wie fachliche Erwartungen, Domänenwissen und technisches Verhalten so zusammengeführt werden, dass Qualität nachvollziehbar bewertet und gezielt weiterentwickelt werden kann.
Die Teilnehmenden lernen, erwartetes Agentenverhalten zu konkretisieren, Testbedingungen abzuleiten, Testsets und Bewertungsmetriken aufzubauen und Evaluationen mit Rhesis durchzuführen. Sie untersuchen die Wirkung von Änderungen an Systemprompt, Modell oder Kontext, erkennen Regressionen und bewerten Robustheit, Conversation Flows und typische Risiken wie Prompt Injection.
Ein durchgängiges Praxisprojekt verbindet die Inhalte über alle vier Tage. So entsteht ein praxistauglicher Qualitätsprozess, mit dem Fachbereich, Produkt und Entwicklung KI-Agenten gemeinsam bewerten, verbessern und in bestehende Entwicklungsprozesse überführen können.
Inhalte
Tag1: Agenten und Qualität verstehen
- LLMs, RAG und KI-Agenten einordnen
- Konversationsbasierte Systeme verstehen
- Nichtdeterminismus, Kontext und Domänenwissen
- Fachliche Anforderungen an Agenten
- Qualitätsmerkmale von Agentensystemen
- Tool Calling und MCP einordnen
- Einführung in Rhesis
Tag 2: Qualität prüfbar machen
- Erwartetes Agentenverhalten konkretisieren
- Testbedingungen ableiten
- Positiv-, Negativ- und Grenzfälle entwickeln
- Testsets und Annotationen aufbauen
- Bewertungsmetriken und Referenzergebnisse definieren
- Evaluationen mit Rhesis durchführen
- Co-Development zwischen Fachbereich, Produkt und Entwicklung
Tag 3: Qualität weiterentwickeln
- Feedback- und Entwicklungszyklen gestalten
- Systemprompt, Modell und Kontext gezielt verändern
- Hypothesen zum Agentenverhalten formulieren
- Wirkung von Änderungen messen
- Regressionen erkennen und fachlich einordnen
- Conversation Testing durchführen
- Prompt Injection und Robustheit prüfen
Tag 4: Qualität absichern und übertragen
- Praxisprojekt abschließen
- Ergebnisse bewerten und Verbesserungen ableiten
- Projektergebnisse präsentieren und begründen
- Lösungsansätze vergleichen
- Gruppenfeedback und Peer Review
- Transfer in das eigene Team
- Automatisierung und Integration mit SDK, MCP und CI/CD
Zielgruppe
- AI Entwickler:innen, die Agenten bauen
- QA- und Testverantwortliche, die Teststrategien für KI-Systeme aufbauen
- Product Owner und Product Manager mit Verantwortung für Produktqualität
- Fachexpert:innen, die Domänenwissen in Qualitätskriterien überführen
Voraussetzungen
- Basisverständnis von LLM-Anwendungen: Empfohlen wird ein Basisverständnis von LLM-Anwendungen und KI-Agenten.
- Projekterfahrung: Empfohlen werden Erfahrungen aus Produkt-, Fach- oder Softwareprojekten.
- Interesse an KI-Qualität: Interesse an Entwicklung und Qualität KI-basierter Systeme.
- Keine Programmierkenntnisse: Programmierkenntnisse sind nicht erforderlich.
Zertifikate
- Praxisnachweis zur Arbeit mit Rhesis
- Teilnahmebescheinigung der Adinger IT Trainings GmbH
- Zertifikat AI Agent Quality Professional (aixqs) nach bestandener Zertifizierungsprüfung
Weitere Infos
Haben Sie Fragen zu diesem Kurs? Füllen Sie das folgende Formular aus und wir melden uns bei Ihnen.
Über den Anbieter
Adinger
ZUSAMMENFASSUNG Adinger bietet praxisnahe Weiterbildungen rund um Künstliche Intelligenz, Cyber Defense, IT-Sicherheit und Compliance. UNSER ANGEBOT Unsere Trainings richten sich an Fach- und Führungskräfte, die neue Technologien nicht nur verstehen, sondern sicher und konkret im Arbeitsalltag einsetzen möchten. Dabei verbinden…
Mehr über Adinger