Das Wichtigste in Kürze
- Ein Quiz misst, ob jemand Begriffe und Regeln zu KI kennt. Es misst nicht, ob diese Person KI in ihrer Arbeit gut einsetzt.
- Zwischen Wissen und Verhalten liegt ein messbarer Abstand. Auch das eigene Urteil schließt ihn nicht: Menschen überschätzen ihren Gewinn durch KI.
- Sichtbar wird der Umgang mit KI erst bei echter Arbeit. Eine Fallaufgabe zeigt, wofür das Werkzeug eingesetzt wird, ob die Ausgabe geprüft wird und wo es hakt.
Ein Quiz nach der KI-Schulung beantwortet eine Frage zuverlässig: ob jemand die Begriffe kennt. Die Frage, die ein Unternehmen stellt, lautet anders. Setzt diese Person KI in ihrer Arbeit gut ein, wenn niemand zusieht und die Aufgabe nicht nach Lehrbuch aussieht? Zwischen beiden Fragen liegt der Unterschied zwischen Wissen und Verhalten, und er ist vermessen.
Das Quiz ist kein nutzloses Werkzeug. Es ist das Werkzeug für die falsche Frage. Genau deshalb wird es so oft eingesetzt: Es ist schnell gebaut, leicht auszuwerten und liefert ein Zertifikat für die Personalakte.
23 %
schlechter schnitten Berater mit KI bei einer Aufgabe außerhalb der Stärken des Modells ab als Kollegen ohne KI, obwohl sie vorher gewarnt worden waren.
Das Feldexperiment von Dell'Acqua und Kollegen2 zeigt, wie groß der Abstand ist. Bei Aufgaben innerhalb der Stärken des Modells lieferten dieselben Berater deutlich bessere Qualität. Die Autoren fassen es so zusammen: Menschen misstrauen der KI dort, wo sie stark ist, und vertrauen ihr zu sehr dort, wo sie schwach ist. Wissen über KI hat davor nicht geschützt.
Was misst ein Quiz, und was nicht?
Ein Quiz prüft, ob jemand einen Begriff wiedererkennt oder eine Definition gelernt hat: Was ist ein Prompt, was ein Kontextfenster, wann halluziniert ein Modell. Als Lernwerkzeug ist das sogar nützlich. Roediger und Karpicke1 zeigten, dass Abruftests Gelerntes besser verankern als wiederholtes Lesen. Nur ist Lernen nicht das Ziel, sondern der Weg. Das Kirkpatrick-Modell3 unterscheidet vier Ebenen, und das Quiz endet auf der zweiten.
Die vier Ebenen nach Kirkpatrick
Reaktion
Wie zufrieden die Teilnehmenden mit der Schulung waren.
Lernen
Begriffe, Regeln, Definitionen. Hier endet das Quiz.
Verhalten
Ob KI im Alltag für die richtige Aufgabe eingesetzt, geprüft und gesteuert wird.
Ergebnis
Zeit, Qualität, Fehler. Folgt nur aus der dritten Ebene.
KI-Kompetenz im Sinne des Unternehmens ist die dritte Ebene: beobachtbares Verhalten. Wird KI für die richtigen Teilaufgaben eingesetzt, und bewusst nicht dort, wo sie schadet? Wird die Ausgabe geprüft und eingeordnet, statt ungeprüft übernommen? Fließt eigenes Fachwissen erkennbar in die Steuerung ein? Keine dieser Fragen lässt sich mit Multiple Choice beantworten.
Warum reicht das eigene Urteil nicht?
19 %
länger brauchten erfahrene Entwickler mit KI-Werkzeugen für ihre Aufgaben, obwohl sie hinterher glaubten, schneller gewesen zu sein.
Wenn das Quiz die falsche Frage stellt, könnte man die Mitarbeitenden fragen. Die METR-Studie4 zeigt, warum auch das nicht trägt: Erwartung, Gefühl und Messung gingen in drei verschiedene Richtungen. Eine Befragung von Wissensarbeitern durch Microsoft Research5 fand dazu passend: Je höher das Vertrauen in die KI, desto weniger kritisches Denken; je höher das Vertrauen in die eigene Kompetenz, desto mehr. Wer wissen will, wie jemand mit KI arbeitet, muss dieser Person bei echter Arbeit zusehen.
Was ein Quiz sichtbar macht
- Ob Begriffe wiedererkannt werden.
- Ob Definitionen gelernt wurden.
- Ob Regeln bekannt sind.
- Das Ergebnis: ein Zertifikat, das Wissen belegt.
Was erst eine Fallaufgabe sichtbar macht
- Ob KI für die richtige Teilaufgabe eingesetzt wird.
- Ob die Ausgabe geprüft statt übernommen wird.
- Ob Fachwissen in die Steuerung einfließt.
- Das Ergebnis: ein Bild davon, wo es konkret hakt.
Ein Quiz misst, was jemand über KI weiß. Eine Fallaufgabe zeigt, was jemand mit KI tut.
Wie macht eine Fallaufgabe den Unterschied sichtbar?
Deshalb arbeitet Proveo mit realistischen Fallaufgaben aus dem eigenen Arbeitsbereich statt mit Quizfragen. Mitarbeitende bearbeiten eine Aufgabe, etwa eine Kundenanfrage oder eine Angebotserstellung, in einem Workspace mit Editor und KI-Chat, genau wie im Alltag. Bewertet wird nicht das Ergebnis allein, sondern der Weg dorthin, entlang von vier Dimensionen: strategischer Tool-Einsatz, Interaktionsqualität, kritische Kontrolle und fachlich geführtes Prompting.
Ein Beispiel
Stellen Sie sich zwei Mitarbeitende im Vertrieb vor, die beide das Quiz zu KI-Grundlagen mit voller Punktzahl bestehen. In der Fallaufgabe sollen sie ein Angebot auf eine Kundenanfrage vorbereiten.
Die eine lässt das Modell einen Entwurf schreiben, prüft die Preise gegen die Liste, streicht eine erfundene Lieferzeit und ergänzt die Bedingung, die im Anfragetext stand. Die andere übernimmt den Entwurf, mitsamt der erfundenen Lieferzeit.
Im Quiz sind beide gleich. In der Arbeit sind sie es nicht, und nur die zweite Beobachtung sagt, wo Coaching ansetzen sollte.
Was heißt das für die nächste Kompetenz-Initiative?
Wer KI-Kompetenz im Unternehmen sichtbar machen will, sollte vorher eine Frage klären: Soll das Ergebnis ein Nachweis auf dem Papier sein oder eine belastbare Antwort darauf, wie gut das Team KI im Alltag einsetzt? Für Artikel 4 der KI-Verordnung verlangt die EU-Kommission6 ausdrücklich kein Zertifikat, sondern empfiehlt interne Aufzeichnungen über Schulungen und andere Maßnahmen. Seit August 2026 kann die Bundesnetzagentur7 als Marktüberwachungsbehörde danach fragen. Ein Zertifikat, das Wissen belegt, beantwortet dann die falsche Frage.
43 %
der deutschen Unternehmen ab 20 Beschäftigten bieten noch gar keine KI-Schulung an. Für sie stellt sich die Frage vor dem ersten Kurs, nicht danach.
Die Zahl stammt aus dem Bitkom-Studienbericht 20268. Wer jetzt plant, kann die Messung vor die Schulung setzen statt dahinter, und die Schulung dann auf das ausrichten, was die Messung zeigt.
Drei Schritte für den Anfang
- Klären Sie vor der Schulung, welche Entscheidung das Ergebnis stützen soll: einen Nachweis, eine Budgetentscheidung oder gezieltes Coaching.
- Wählen Sie je Rolle eine echte Aufgabe aus dem Alltag und lassen Sie einige Mitarbeitende sie mit dem freigegebenen Werkzeug bearbeiten. Sehen Sie sich an, wie sie vorgehen, nicht nur, was herauskommt.
- Wiederholen Sie dieselbe Aufgabe nach der Maßnahme. Erst der zweite Datenpunkt zeigt, ob sich das Verhalten geändert hat. Wie sich Vorher und Nachher vergleichen lassen.
Fazit
Ein Quiz ist schnell gebaut und leicht auszuwerten. Genau deshalb wird es so oft eingesetzt, und genau deshalb misst es die falsche Sache. Wer wissen will, wie kompetent ein Team mit KI arbeitet, muss es bei echter Arbeit beobachten, nicht bei der Beantwortung von Definitionen.
Quellen
Methode, Stichprobe und weitere Zahlen lassen sich je Quelle aufklappen.
- Roediger und Karpicke, „Test-enhanced learning“, Psychological Science, 2006. ↩
Methode und Zahlen
Laborstudien mit Studierenden: Ein Abruftest verankerte den Stoff nach zwei Tagen und nach einer Woche deutlich besser als wiederholtes Lesen, obwohl das Wiederlesen das Gefühl von Sicherheit stärker steigerte.
- Dell'Acqua et al., „Navigating the Jagged Technological Frontier“, Harvard Business School / BCG, 2023. ↩
Methode und Zahlen
Feldexperiment mit 758 Beratern. Bei Aufgaben innerhalb der Fähigkeiten von GPT-4 rund 40 % bessere Qualität, bei einer Aufgabe knapp außerhalb 23 % schlechter als die Kontrollgruppe ohne KI.
- Kirkpatrick Partners, „The Kirkpatrick Model“. ↩
Methode und Zahlen
Die vier Ebenen der Wirkungsmessung von Weiterbildung: Reaktion, Lernen, Verhalten, Ergebnisse.
- METR, „Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity“, 2025. ↩
Methode und Zahlen
Randomisierte Studie mit 16 erfahrenen Open-Source-Entwicklern und 246 Aufgaben. Erwartet: 24 % Zeitersparnis. Gefühlt hinterher: 20 % schneller. Gemessen: 19 % länger.
- Lee et al., „The Impact of Generative AI on Critical Thinking“, Microsoft Research, CHI 2025. ↩
Methode und Zahlen
Befragung von 319 Wissensarbeitern zu 936 Beispielen aus ihrer Arbeit: Höheres Vertrauen in die KI ging mit weniger kritischem Denken einher, höheres Vertrauen in die eigene Kompetenz mit mehr.
- Europäische Kommission, „AI literacy: Questions and Answers“. ↩
Methode und Zahlen
Artikel 4 verlangt kein Zertifikat und keine Prüfung; die Kommission empfiehlt interne Aufzeichnungen über Schulungen und andere Maßnahmen.
- Bundesnetzagentur, Pressemitteilung zur Rolle bei der KI-Verordnung, 29. Juli 2026. ↩
Methode und Zahlen
Seit dem 2. August 2026 Marktüberwachungsbehörde, Anlaufstelle und Beschwerdestelle für die KI-Verordnung in Deutschland.
- Bitkom, Studienbericht „Künstliche Intelligenz in Deutschland“ 2026 (PDF). ↩
Methode und Zahlen
604 Unternehmen ab 20 Beschäftigten. 43 % bieten keine KI-Schulung an, 8 % schulen alle Mitarbeitenden; 53 % nennen fehlendes Know-how als Hemmnis.