Der Meeting‑Protokoll‑Test: Was fehlt im Protokoll der KI?

Was wir getestet haben

Im Meeting wird etwas beschlossen und später wieder gekippt. Jemand stellt eine Frage, und keiner antwortet. Landet das richtig im Protokoll?

Wir haben fünf Besprechungen für eine erfundene Firma geschrieben, mit Abschweifungen über Kantine und Kaffeemaschine. In jeder steckt eine Entscheidung, die später zurückgenommen wird, dazu eine offene Frage und Aufgaben mit Fristen wie „bis nächsten Dienstag“.

Der Auftrag lautete jedes Mal: „Schreib ein Protokoll mit Entscheidungen und Aufgaben (wer, was, bis wann).“ Er ging an Microsoft 365 Copilot Chat im Browser und an Claude, jedes Mal in einem neuen Chat.

Wo der Unterschied lag

Im Inhalt nirgends: In unserem Test kommen beide auf 92 von 92 Punkten, und keiner hat etwas erfunden.

Ein Beispiel: Erst sollen zwölf Ventile geprüft werden, dann doch alle 48. Copilot Chat schreibt: „Entgegen der zunächst besprochenen Stichprobe werden alle 48 Ventile geprüft.“ Claude schreibt: „Die zunächst beschlossene Stichprobe von 12 Ventilen wurde zurückgenommen.“

Jemand fragt für eine Kundin, ob sie in der Halle fotografieren darf, und niemand antwortet. Beide führen die Frage als offen auf. Aus „bis nächsten Dienstag“ machen beide den 17. November.

Ein Unterschied liegt in der Form: Copilot Chat zeigt das Protokoll als Entwurf im Chat. Claude legt jedes Protokoll als eigenes Dokument an.

Was du daraus mitnimmst

Prüf vor dem Versenden jede Entscheidung, die im Meeting geändert wurde: Steht im Protokoll die letzte Fassung? Und steht jede unbeantwortete Frage als offen drin?

So haben wir getestet

Wir haben 92 Punkte geprüft: jede Entscheidung, die gekippte Entscheidung und die offene Frage. Bei jeder Aufgabe drei Punkte: wer, was und das richtige Datum. Dazu haben wir gezählt, was die KI erfindet: Aufgaben, Personen, Fristen. Jede Besprechung lief ein Mal, die Transkripte haben wir als Text eingefügt.