Das Wichtigste in Kürze
- Umfrage, Quiz und Fallaufgabe erzeugen alle Zahlen. Sie messen aber drei verschiedene Dinge: Selbstbild, Wissen und Arbeit.
- Selbsteinschätzungen sind systematisch verzerrt, und ein Quiz schützt nicht vor Fehlvertrauen in KI. Nur die Fallaufgabe zeigt Verhalten.
- Die Methoden schließen sich nicht aus, sie haben verschiedene Jobs. Die Fallaufgabe ist das Fundament für Budget, Maßnahmen und Nachweis.
Bevor ein Unternehmen KI-Kompetenz aufbaut, braucht es ein Bild davon, wo das Team steht. Für dieses Bild gibt es im Wesentlichen drei Methoden: die Umfrage, das Quiz und die Fallaufgabe. Alle drei erzeugen Zahlen, und die Zahlen sehen ähnlich aus. Sie messen aber drei verschiedene Dinge: Selbstbild, Wissen und Arbeit.
Die Wahl der Methode entscheidet, welche Maßnahme danach gekauft wird. Wer das Falsche misst, optimiert das Team für die nächste Messung, nicht für den Arbeitsalltag. Der Bedarf selbst ist unstrittig: Im Bitkom-Studienbericht 20261 nennt gut die Hälfte der deutschen Unternehmen fehlendes Know-how als Hemmnis, und in der Unternehmensbefragung der Bundesnetzagentur2 berichtet ein Drittel der KI-nutzenden Firmen, dass die meisten Mitarbeitenden noch Schwierigkeiten mit den Anwendungen haben. Ohne ein Bild davon, wo das Team steht, wird jede Maßnahme zur Wette.
Was misst die Selbsteinschätzung?
41 %
der Beschäftigten würden in Betracht ziehen, ihre Fähigkeiten mit generativer KI zu übertreiben. Die Umfrage misst, was Menschen über sich sagen.
Eine Umfrage ist in einer Woche aufgesetzt und ausgewertet: Wie sicher fühlen Sie sich im Umgang mit KI, wofür nutzen Sie sie, wo hakt es? Als Stimmungsbild und Gesprächsöffner ist das wertvoll. Als Messung hat es einen bekannten Konstruktionsfehler. Kruger und Dunning3 zeigten, dass Menschen mit geringer Kompetenz sich systematisch überschätzen, gerade weil ihnen das Wissen fehlt, die eigenen Lücken zu erkennen. Bei KI kommt das Motiv dazu, das die Salesforce-Befragung4 sichtbar macht. Die Folge: Die Teams, die Hilfe am nötigsten haben, melden in der Umfrage am seltensten Bedarf an.
Was misst der Wissenstest?
23 %
schlechter schnitten Berater mit KI bei einer Aufgabe außerhalb der Fähigkeiten des Modells ab als Kollegen ohne KI, obwohl sie vorher gewarnt worden waren.
Ein Quiz ist objektiver als eine Selbsteinschätzung und skaliert mühelos auf hundert Mitarbeitende. Es misst zuverlässig, aber es misst Wissen: Begriffe, Regeln, Definitionen. Dass Wissen über KI nicht vor Fehlvertrauen in KI schützt, zeigt das Feldexperiment von Dell'Acqua und Kollegen5. Ob Wissen am Schreibtisch zu gutem Verhalten wird, beantwortet ein Quiz nicht. Als Lernwerkzeug bleibt es nützlich: Roediger und Karpicke9 zeigten, dass ein Abruftest Gelerntes besser verankert als wiederholtes Lesen. Nur ist Lernen nicht dasselbe wie Anwenden.
Was misst die Fallaufgabe?
66 %
der Beschäftigten räumen ein, KI-Ergebnisse zu übernehmen, ohne deren Richtigkeit zu prüfen. Das sieht man weder in einer Umfrage noch in einem Quiz.
Die dritte Methode sieht Menschen bei echter Arbeit zu: Eine realistische Aufgabe aus dem eigenen Bereich, eine Kundenanfrage, eine Angebotserstellung, wird in einem Workspace mit Editor und KI-Chat bearbeitet, genau wie im Alltag. Bewertet wird der Weg zum Ergebnis entlang von vier Dimensionen: strategischer Tool-Einsatz, Interaktionsqualität, kritische Kontrolle, fachlich geführtes Prompting. Das ist aufwändiger als eine Umfrage, und die einzige der drei Methoden, die Verhalten misst statt Aussagen darüber. Wie nötig das ist, zeigt die KPMG-Studie mit der University of Melbourne6: Mehr als die Hälfte der Beschäftigten hat durch ungeprüfte KI-Ergebnisse schon Fehler in der Arbeit gemacht.
Was die drei Methoden messen
Selbsteinschätzung
Misst Selbstbild. Schnell, aber systematisch verzerrt.
Wissenstest
Misst Wissen. Objektiv, aber blind für Verhalten.
Fallaufgabe
Misst Arbeit. Aufwändiger, aber die einzige mit Verhalten.
Aufwand und Aussagekraft laufen gegenläufig: Die Umfrage kostet am wenigsten und sagt am wenigsten, die Fallaufgabe kostet am meisten und sagt am meisten. In der Sprache des Kirkpatrick-Modells7: Die Umfrage misst Reaktion, das Quiz Lernen, erst die Fallaufgabe Verhalten.
Eine Selbsteinschätzung misst Selbstbild, ein Quiz misst Wissen, eine Fallaufgabe misst Arbeit.
Welche Methode beantwortet welche Frage?
| Die Frage | Die passende Methode |
|---|---|
| Wo fühlt sich das Team unsicher? | Umfrage, als schneller Puls |
| Sind die Grundbegriffe nach der Einführung angekommen? | Quiz, direkt nach der Schulung |
| Wie arbeitet das Team wirklich mit KI? | Fallaufgabe |
| Hat eine Maßnahme gewirkt? | Fallaufgabe, vorher und nachher |
| Was legen wir Behörden, Kunden oder Prüfern vor? | Fallaufgabe, datiert und wiederholt |
Wer nur eine Methode wählt, wählt die dritte. Wer alle drei nutzt, gibt jeder ihren Job.
Was Umfrage und Quiz gemeinsam haben
- Schnell aufgesetzt und leicht skalierbar.
- Messen Aussagen über Arbeit oder Wissen über KI.
- Blind dafür, wer die Ausgabe prüft und wer sie übernimmt.
- Das Ergebnis: eine Zahl, die Verhalten nicht enthält.
Was nur die Fallaufgabe leistet
- Zeigt, wofür KI eingesetzt wird und wofür nicht.
- Zeigt, ob die Ausgabe geprüft und eingeordnet wird.
- Zeigt, ob Fachwissen die Steuerung führt.
- Das Ergebnis: ein Bild, auf dem Budget, Maßnahmen und Nachweis stehen.
Wie kombiniert man die Methoden sinnvoll?
In der Praxis schließen sich die drei nicht aus, sie haben verschiedene Jobs. Die Umfrage taugt als schneller Puls und für die Frage, wo Unsicherheit empfunden wird. Das Quiz kann Grundlagenwissen nach einer Einführung absichern. Die Fallaufgabe ist das Fundament, auf dem Budgetentscheidungen, gezielte Maßnahmen und der Nachweis gegenüber Behörden, Kunden oder Prüfern stehen. Die EU-Kommission verlangt für Artikel 4 der KI-Verordnung ausdrücklich kein Zertifikat8, sondern empfiehlt interne Aufzeichnungen über Schulungen und andere Maßnahmen; was in diesen Aufzeichnungen steht, entscheidet die Messmethode. Und nur bei der Fallaufgabe zeigt die Wiederholung eine Verhaltensänderung, und damit, ob eine Maßnahme gewirkt hat.
Ein Beispiel
Stellen Sie sich ein Team im Einkauf vor, das in der Umfrage angibt, sicher mit KI zu arbeiten, und im Quiz zu KI-Grundlagen gut abschneidet. In der Fallaufgabe soll es eine Lieferantenbewertung mit KI-Unterstützung vorbereiten.
Zwei von fünf Mitarbeitenden übernehmen die Bewertung, in der das Modell einen Lieferanten mit erfundenen Kennzahlen ergänzt hat. Die anderen drei prüfen gegen das Lieferantenportal und streichen ihn.
Umfrage und Quiz hätten das Team als sicher eingestuft. Die Fallaufgabe zeigt, dass zwei Personen ein konkretes Coaching zur Prüfung von Ausgaben brauchen, und dass die anderen drei keines brauchen.
Drei Schritte für den Anfang
- Nutzen Sie die Umfrage nur für das, was sie kann: ein Stimmungsbild. Leiten Sie daraus keine Kompetenzniveaus ab.
- Wählen Sie je Rolle eine echte Aufgabe aus dem Alltag und lassen Sie einige Mitarbeitende sie mit dem freigegebenen Werkzeug bearbeiten. Bewerten Sie den Weg, nicht nur das Ergebnis.
- Legen Sie den Wiederholungsrhythmus fest, bevor die erste Maßnahme startet. Ohne zweiten Datenpunkt bleibt jede Wirkung eine Behauptung.
Fazit
Alle drei Methoden erzeugen Zahlen; verwechselbar sind sie deshalb nicht. Eine Selbsteinschätzung misst Selbstbild, ein Quiz misst Wissen, eine Fallaufgabe misst Arbeit. Welche Methode die richtige ist, entscheidet die Frage, die man beantworten will, und für die Frage, wie gut das Team wirklich mit KI arbeitet, gibt es nur eine ehrliche Antwortquelle: zusehen, wie es arbeitet.
Quellen
Methode, Stichprobe und weitere Zahlen lassen sich je Quelle aufklappen.
- Bitkom, Studienbericht „Künstliche Intelligenz in Deutschland“ 2026 (PDF). ↩
Methode und Zahlen
604 Unternehmen ab 20 Beschäftigten. 53 % nennen fehlendes technisches Know-how als Hemmnis; 43 % bieten keine KI-Schulung an.
- Bundesnetzagentur, „KI in Unternehmen: Einsatz, Ressourcen und Herausforderungen“, 2025 (PDF). ↩
Methode und Zahlen
808 Unternehmen. Ein Drittel der KI-nutzenden Unternehmen berichtet, dass die meisten oder fast alle Mitarbeitenden noch Schwierigkeiten mit den Anwendungen haben.
- Kruger und Dunning, „Unskilled and unaware of it“, Journal of Personality and Social Psychology, 1999. ↩
Methode und Zahlen
Das schwächste Viertel der Teilnehmenden lag tatsächlich im 12. Perzentil, schätzte sich selbst aber im 62. Perzentil ein.
- Salesforce, „AI at Work Research“, 2023. ↩
Methode und Zahlen
Über 14.000 Beschäftigte in 14 Ländern. 41 % würden in Betracht ziehen, ihre Fähigkeiten mit generativer KI zu übertreiben.
- Dell'Acqua et al., „Navigating the Jagged Technological Frontier“, Harvard Business School / BCG, 2023. ↩
Methode und Zahlen
Feldexperiment mit 758 Beratern. Bei Aufgaben innerhalb der Fähigkeiten von GPT-4 rund 40 % bessere Qualität, bei einer Aufgabe knapp außerhalb 23 % schlechter als die Kontrollgruppe ohne KI.
- KPMG und University of Melbourne, „Trust, attitudes and use of AI“, 2025. ↩
Methode und Zahlen
Über 48.000 Befragte in 47 Ländern. 66 % übernehmen KI-Ergebnisse ungeprüft, 56 % haben dadurch schon Fehler in ihrer Arbeit gemacht.
- Kirkpatrick Partners, „The Kirkpatrick Model“. ↩
Methode und Zahlen
Die vier Ebenen der Wirkungsmessung von Weiterbildung: Reaktion, Lernen, Verhalten, Ergebnisse.
- Europäische Kommission, „AI literacy: Questions and Answers“. ↩
Methode und Zahlen
Artikel 4 verlangt kein Zertifikat; die Kommission empfiehlt interne Aufzeichnungen über Schulungen und andere Maßnahmen.
- Roediger und Karpicke, „Test-enhanced learning“, Psychological Science, 2006. ↩
Methode und Zahlen
Ein Abruftest verankerte den Stoff nach zwei Tagen und nach einer Woche deutlich besser als wiederholtes Lernen, obwohl Wiederholen das Gefühl von Sicherheit stärker steigerte.