Meeting-Transkriptions-Tools (z. B. MeetGeek, Fireflies.ai, Notta, Krisp.ai) versprechen, gesprochene Besprechungen automatisch in Text, Sprecherzuordnung und eine Aufgabenliste zu verwandeln — statt Protokoll aus dem Gedächtnis oder gar keins. Genau das prüfen wir: Kommt am Ende ein Protokoll heraus, dem man ohne Nachkontrolle vertrauen kann?
Anders als bei Text-Prompts, die sich mit wenig Aufwand an den Kontext einer Firma anpassen lassen, braucht ein Audio-Benchmark echtes, neu eingesprochenes Material. Jede Firma bekommt deshalb ihr eigenes, eingefrorenes Referenzgespräch, passend zu ihrem Team und Alltag. Ein Gespräch aus einer Physiotherapie-Praxis klingt inhaltlich völlig anders als eines aus einer Hausverwaltung oder Steuerkanzlei — nur so bleibt der Test realistisch. Alle Tools, die gegen dieselbe Firma antreten, bekommen dabei exakt dieselbe eingefrorene Audiodatei — nur so sind ihre Ergebnisse überhaupt vergleichbar.
Was wir testen
Acht Kennzahlen pro Durchlauf, jede für sich, kein Gesamtscore:
| Kennzahl | Was sie zeigt |
|---|---|
| Wortfehlerrate | Wie weit weicht das Transkript vom tatsächlich Gesagten ab? |
| Zahlentreue | Werden Beträge, Uhrzeiten, Termine korrekt übernommen? |
| Eigennamentreue | Werden Namen von Personen, Kassen, Lieferanten richtig geschrieben? |
| Fachbegriffstreue | Werden branchentypische Fachbegriffe korrekt erfasst? |
| Sprecherzuordnung | Wird jede Aussage der richtigen Person zugeschrieben? |
| Aufgabenerfassung | Taucht jede im Gespräch vergebene Aufgabe im Protokoll auf — inklusive Zuständigkeit und Frist? |
| Erfundene Inhalte | Enthält die Zusammenfassung Aussagen, die im Gespräch so nie fielen? |
| Rücknahmetreue | Wird eine im Gespräch ausdrücklich verworfene Festlegung als verworfen erkannt — oder landet die falsche Version im Protokoll? |
Zahlentreue ist die Kennzahl, die wir am stärksten gewichten: Ein falsch geschriebener Name ist ärgerlich, ein falscher Betrag im Protokoll wird im echten Betrieb schnell zum Streitfall. Erfundene Inhalte zählen wir bewusst nicht in Prozent, sondern als absolute Zahl — eine einzige frei erfundene Aussage in einem Protokoll ist ein Ausschlusskriterium, keine Kommastelle. Der Rücknahme-Test prüft gezielt, ob ein Tool mitbekommt, wenn im Gespräch etwas revidiert wird — in echten Besprechungen wird ständig etwas verworfen und neu entschieden, und ein Protokoll, das die verworfene Fassung dokumentiert, ist schlimmer als gar kein Protokoll.
Wie wir testen — inklusive Einrichtung
Wir messen nicht nur die Transkriptqualität, sondern auch, wie viel Arbeit die Einrichtung tatsächlich kostet:
- Start der Uhr: der erste Klick auf „Registrieren” beim Anbieter.
- Stopp der Uhr: das erste vollständige Protokoll mit Zusammenfassung ist im Konto oder Postfach sichtbar.
- Gezählt wird die aktive Einrichtungszeit — die Summe der Abschnitte, in denen tatsächlich am Tool gearbeitet wird. Wartezeit auf Verarbeitung wird separat ausgewiesen, nicht mitgerechnet, da der Betrieb in dieser Zeit etwas anderes tun kann.
- Bietet ein Anbieter mehrere Einrichtungswege an (z. B. Kalender-Bot, Browser-Erweiterung, Desktop-App, Datei-Upload), nennen wir immer, welcher Weg gemessen wurde — eine Zeit ohne genannten Weg ist keine belastbare Aussage.
Zwei Härtegrade pro Referenzgespräch, beide mit demselben Skript, aber unterschiedlich aufgenommen:
| Stufe | Aufnahme | Rolle im Test |
|---|---|---|
| A — Direkt | Die vertonten Stimmen unverändert gemischt und hochgeladen | Diagnosewert, Referenzpunkt |
| B — Raum | Stufe A im echten Besprechungsraum über Lautsprecher abgespielt und mit einem Aufnahmegerät auf dem Tisch neu aufgenommen — Fenster offen, echte Nebengeräusche | der veröffentlichte Wert |
Stufe B bildet eine typische Alltagssituation ab: Ein Aufnahmegerät liegt im Besprechungsraum auf dem Tisch, während Gespräche aus unterschiedlichen Positionen und mit Raumakustik aufgenommen werden — eine bewusst definierte, realistische Testbedingung, aber nicht zwangsläufig der Normalfall für jedes Meeting. Beide Stufen werden je Firma einmal aufgenommen und danach eingefroren — inklusive des zufällig vorbeifahrenden Autos, das damit fester, für jedes Tool identischer Bestandteil des Tests wird.
Warum synthetische Stimmen?
Das Referenzgespräch muss über Monate hinweg exakt reproduzierbar bleiben, damit alte und neue Messungen vergleichbar sind. Mit echten Sprechenden ließe sich dasselbe Gespräch nie zweimal identisch führen — Tempo, Aussprache und Nebengeräusche würden bei jeder neuen Aufnahme abweichen. Synthetische Stimmen lösen das: Dasselbe Gespräch bleibt Wort für Wort, Pause für Pause identisch, egal ob es heute oder in einem Jahr gegen ein neues Tool antritt.
Die Einschränkung bleibt bestehen: Synthetische Stimmen sprechen in der Regel deutlicher als echte Gesprächsteilnehmer — der Benchmark bildet damit nicht jede Schwierigkeit realer Meetings ab (starker Dialekt, mehrere gleichzeitig Redende).
Referenzgespräch: Physio am Markt
Das erste eingefrorene Referenzgespräch entstand im Kontext der Praxis „Physio am Markt” (Praxisinhaber Michael Brandt und Team): ein rund neunminütiges Team-Meeting mit vier synthetischen Stimmen.
Besetzung:
| Person | Rolle |
|---|---|
| Michael Brandt | Praxisinhaber |
| Sabine Körner | Rezeption und Abrechnung |
| Yvonne Delacroix | Therapeutin |
| Tobias Reuter | Therapeut |
Alle vier Stimmen sind synthetisch erzeugt — damit ist das Gespräch vollständig reproduzierbar und verliert auch bei einem Dateiverlust nichts Unwiederbringliches.
Zwei Aufnahmestufen: einmal direkt aufgenommen, einmal mit realistischer Raumakustik (unterschiedlicher Pegel und Hallanteil je Sitzposition der vier Sprechenden) — das zweite ist die anspruchsvollere, alltagsnähere Bedingung.
Weil das Gespräch exakt feststeht, lässt sich jedes Tool objektiv daran messen — Wortfehlerrate, korrekt erkannte Sprecher:innen, richtig geschriebene Eigennamen.
Downloads: Beide Audiostufen des Physio-am-Markt-Referenzgesprächs stehen unten zum Nachhören/Nachprüfen bereit. Aktuelle Version: v1.0, eingefroren am 06.08.2026 — jede inhaltliche Änderung wäre ein Versionssprung auf v2.0, damit alte Messungen nicht mit neuem Material verglichen werden.
Sobald weitere Firmen in dieser Testreihe laufen, bekommt jede ihr eigenes Referenzgespräch samt Besetzung, Aufnahmestufen und Downloads — jeweils dokumentiert im Testbericht der jeweiligen Firma.
Einschränkung, die wir offenlegen
Wir testen mit einem vorbereiteten Gespräch, damit jedes Programm exakt dieselbe Aufgabe bekommt. Aufgenommen wird es so, wie es im Betrieb wäre: im Besprechungsraum, Gerät auf dem Tisch, Fenster offen. Die Stimmen im Gespräch sind künstlich erzeugt — sie sprechen deutlicher als echte Menschen. Mit starkem Dialekt oder mehreren gleichzeitig Redenden kann ein Tool im echten Alltag also schlechter abschneiden, als es unser Test zeigt.