KI-Kompetenz messen: Drei Methoden im Vergleich

53 % der Unternehmen nennen fehlende KI-Kompetenz im Team als größtes Hindernis für den KI-Einsatz. Wer daran etwas ändern will, braucht zuerst ein Bild davon, wo das eigene Team steht — sonst wird jede Maßnahme zur Wette. Für dieses Bild gibt es im Wesentlichen drei Methoden, und sie unterscheiden sich stärker, als ihre Ergebnisse aussehen.

Methode 1: Die Selbsteinschätzung

Eine Umfrage ist in einer Woche aufgesetzt und ausgewertet: Wie sicher fühlen Sie sich im Umgang mit KI, wofür nutzen Sie sie, wo hakt es? Als Stimmungsbild und Gesprächsöffner ist das wertvoll. Als Messung hat es einen bekannten Konstruktionsfehler: Menschen mit geringer Kompetenz überschätzen sich systematisch, gerade weil ihnen das Wissen fehlt, die eigenen Lücken zu erkennen. Die Teams, die Hilfe am nötigsten haben, melden sich in der Umfrage am seltensten.

Methode 2: Der Wissenstest

Ein Quiz ist objektiver als eine Selbsteinschätzung und skaliert mühelos auf hundert Mitarbeitende. Es misst zuverlässig — aber es misst Wissen: Begriffe, Regeln, Definitionen. Ob dieses Wissen am Schreibtisch zu gutem Verhalten wird, beantwortet es nicht. Wer nach einem Quiz Maßnahmen plant, optimiert das Team fürs nächste Quiz, nicht für den Arbeitsalltag.

Methode 3: Die Fallaufgabe

Die dritte Methode sieht Menschen bei echter Arbeit zu: Eine realistische Aufgabe aus dem eigenen Bereich — eine Kundenanfrage, eine Angebotserstellung — wird in einem Workspace mit Editor und KI-Chat bearbeitet, genau wie im Alltag. Bewertet wird der Weg zum Ergebnis entlang von vier Dimensionen: strategischer Tool-Einsatz, Interaktionsqualität, kritische Kontrolle, fachlich geführtes Prompting. Das ist aufwändiger als eine Umfrage — und die einzige der drei Methoden, die Verhalten misst statt Aussagen darüber.

Der Vergleich in vier Fragen

Aufwand: Umfrage am geringsten, Fallaufgabe am höchsten. Aussagekraft: genau umgekehrt. Nachweistauglichkeit — etwa gegenüber Behörden, Kunden oder Prüfern —: Die Selbsteinschätzung fällt aus, das Quiz belegt Wissen, nur die Fallaufgabe belegt Können. Wiederholbarkeit: alle drei, aber nur bei der Fallaufgabe zeigt die Wiederholung eine Verhaltensänderung — und damit, ob eine Maßnahme gewirkt hat.

Wie sich die Methoden sinnvoll kombinieren

In der Praxis schließen sich die drei nicht aus, sie haben verschiedene Jobs: Die Umfrage taugt als schneller Puls und für die Frage, wo Unsicherheit empfunden wird. Das Quiz kann Grundlagenwissen nach einer Einführung absichern. Die Fallaufgabe ist das Fundament — die Messung, auf der Budgetentscheidungen, gezielte Maßnahmen und der Nachweis stehen. Wer nur eine Methode wählt, wählt die dritte.

Fazit

Alle drei Methoden erzeugen Zahlen; verwechselbar sind sie deshalb nicht. Eine Selbsteinschätzung misst Selbstbild, ein Quiz misst Wissen, eine Fallaufgabe misst Arbeit. Welche Methode die richtige ist, entscheidet die Frage, die man beantworten will — und für „Wie gut arbeitet unser Team wirklich mit KI?“ gibt es nur eine ehrliche Antwortquelle: zusehen, wie es arbeitet.