Sollten Sie whisper.cpp einfach selbst ausführen?

Die meisten Vergleichsseiten im Internet sollen erklären, warum die Alternative schlechter ist. Diese hier kann das nicht, denn die Alternative ist genau das, worauf unsere App aufbaut.

whisper.cpp ist Georgi Gerganovs C/C++-Implementierung von OpenAIs Whisper. Es steht unter MIT-Lizenz, ist kostenlos, wird aktiv weiterentwickelt und ist sehr gut. Offline Transcription nutzt es als Engine. Als es eine eingebaute Sprachaktivitätserkennung bekam, bekam unsere App sie ebenfalls, weil es derselbe Code ist.

Die ehrliche Frage lautet also nicht „was ist besser". Sondern „wollen Sie die Montage selbst übernehmen".

Führen Sie es selbst aus, wenn … #

Sie sich im Terminal wohlfühlen. Das Ganze ist ./build/bin/whisper-cli -m model.bin -f audio.wav. Wenn Ihnen dieser Satz völlig normal vorkommt, sind Sie zehn Minuten von einem Transkript entfernt und sollten niemandem Geld dafür zahlen.

Sie es per Skript steuern wollen. Überwachte Ordner, Cronjobs, Transkripte an andere Werkzeuge weiterleiten, auf einem Server transkribieren – hier ist eine Kommandozeile nicht nur günstiger, sondern wirklich besser. Bei der Automatisierung kann keine grafische Oberfläche mit einer Shell-Schleife mithalten.

Sie an jedem Regler drehen wollen. Beam-Größe, Temperatur-Fallback, eigene Prompts, alternative Modelle, ganz andere Quantisierungen. Wir geben die Einstellungen frei, die unserer Meinung nach die meisten brauchen; whisper.cpp gibt alle frei.

Ihr Budget null ist. Völlig legitim. Es ist freie Software, und sie funktioniert.

Nutzen Sie die App, wenn … #

Sie nichts bauen wollen. Den schnellen Weg auf Apple silicon bekommen Sie nur, wenn Sie mit den richtigen Flags kompilieren und den Encoder mit Python-Werkzeugen nach Core ML konvertieren. Das ist dokumentiert und nicht schwer, kostet beim ersten Mal aber trotzdem einen Nachmittag und muss bei jedem Update wiederholt werden. Wir erledigen das einmal und liefern das Ergebnis aus.

Sie es auf Ihrem Telefon haben wollen. Im Repository gibt es ein iOS-Beispielprojekt. Es zu bauen, zu signieren und auf Ihrem eigenen Gerät zu installieren, ist eine echte Xcode-Aufgabe, und ohne Entwicklerkonto läuft die Installation mit Ihrem Provisioning-Profil ab. Eine Universal-App aus dem App Store ist etwas ganz anderes.

Die Arbeit im Prüfen steckt, nicht im Transkribieren. Das ist der ehrliche Kern. Text aus Audio zu holen, ist ein einziger Befehl. Die Stelle zu finden, die Sie brauchen, einen Namen mit dem Audio abzugleichen, ihn zu korrigieren und Untertitel zu exportieren – dort geht die eigentliche Zeit hin, und eine Kommandozeile gibt Ihnen eine Textdatei und wünscht Ihnen viel Glück. Ein Segment-Browser, in dem Sie auf eine Zeile klicken und genau diese Zeile hören, ist etwas, das ein Terminal nicht kann.

Andere Leute es nutzen müssen. Kolleginnen, ein Forschungsteam, eine Redakteurin. „Installiere die Xcode Command Line Tools und führe make aus" ist kein Arbeitsablauf, den Sie an jemand anderen weitergeben können.

Wofür Sie eigentlich bezahlen #

Nicht für das Modell – das ist kostenlos und öffentlich. Nicht für die Engine – die steht unter MIT-Lizenz und ist öffentlich.

Sie bezahlen für das Drumherum: einen kompilierten und mitgelieferten Core ML-Encoder, ein quantisiertes Modell in einer Größe, die auf ein Telefon passt, eine Warteschlange, eine Sprachauswahl pro Datei, einen Segment-Browser mit Audiowiedergabe, sieben Exportformate und eine Verarbeitung langer Dateien, die den Speicherverbrauch flach hält, damit eine zweistündige Aufnahme auf einem iPhone nicht Ihren Prozess abschießt.

Das ist eine Menge Arbeit, und es ist trotzdem völlig vernünftig, sie lieber selbst und kostenlos zu erledigen.

Ein Wort zu Open Source #

Weil unsere App davon abhängt: Wenn whisper.cpp für Sie nützlich ist, ob über unsere App oder direkt, lohnt es sich, dem Repository einen Stern zu geben und die Issues zu lesen. Dass lokale Transkription in den letzten Jahren auf normaler Hardware gut geworden ist, liegt zu einem großen Teil an diesem Projekt und der ggml-Bibliothek darunter.

Wir verfolgen es genau – unsere Erklärung, wie Transkription auf dem Gerät funktioniert, ist im Grunde eine Beschreibung dessen, was whisper.cpp tut, denn genau das läuft dort.