whisper.cpp を自分で動かすべきか、代わりにアプリを使うべきか

インターネット上の比較ページのほとんどは、競合がなぜ劣っているかを説明するために存在します。このページにはそれができません。比較対象は、私たちのアプリの土台そのものだからです。

whisper.cpp は、Georgi Gerganov による OpenAI の Whisper の C/C++ 実装です。MIT ライセンスで無料、活発に開発されていて、非常に優れています。Offline Transcription はこれをエンジンとして使っています。whisper.cpp に音声区間検出が組み込まれたとき、私たちのアプリにも同じ機能が加わりました。同じコードだからです。

ですから正直な問いは「どちらが優れているか」ではありません。「組み立てを自分でやりたいか」です。

自分で動かすべき場合 #

ターミナルに慣れている場合。 必要なのは ./build/bin/whisper-cli -m model.bin -f audio.wav だけです。この一文を見てもなんとも思わないなら、文字起こしまで 10 分の距離にいて、誰かにお金を払う必要はありません。

スクリプトで動かしたい場合。 フォルダーの監視、cron ジョブ、文字起こしを他のツールにパイプで渡す、サーバー上で文字起こしする。こうした用途では、CLI は安いだけでなく、本当に優れています。自動化においてシェルのループに勝てる GUI はありません。

すべての設定を触りたい場合。 ビームサイズ、温度のフォールバック、カスタムプロンプト、別のモデル、まったく異なる量子化。私たちはほとんどの人に必要だと考える設定を用意していますが、whisper.cpp はそのすべてを公開しています。

予算がゼロの場合。 まったく正当な理由です。フリーソフトウェアで、ちゃんと動きます。

アプリを使うべき場合 #

何もビルドしたくない場合。 Apple silicon で高速に動かすには、適切なフラグでコンパイルし、Python のツールでエンコーダーを Core ML に変換する必要があります。手順は文書化されていて難しくはありませんが、それでも初回は午後いっぱいかかり、更新するたびにやり直しになります。私たちはそれを一度行い、その結果を出荷しています。

スマートフォンで使いたい場合。 リポジトリにはサンプルの iOS プロジェクトがありますが、それをビルドし、署名し、自分のデバイスにインストールするのは本格的な Xcode の作業で、開発者アカウントがなければプロビジョニングプロファイルの期限とともに使えなくなります。App Store のユニバーサルアプリとは話が違います。

手間がかかるのが文字起こしではなく確認作業の場合。 これが正直な核心です。音声からテキストを取り出すのはコマンドひとつです。必要な箇所を探し、名前を音声と照らし合わせ、修正し、字幕を書き出す。実際に時間がかかるのはそこで、CLI はテキストファイルを渡して、あとは幸運を祈るだけです。行をクリックするとその行の音声が流れるセグメントブラウザは、ターミナルにはできないことです。

他の人も使う必要がある場合。 同僚、研究チーム、編集者。「Xcode のコマンドラインツールをインストールして make を実行して」は、誰かに渡せるワークフローではありません。

実際に何にお金を払うのか #

モデルではありません。それは無料で公開されています。エンジンでもありません。それは MIT ライセンスで公開されています。

あなたが払うのはパッケージングの部分です。コンパイル済みで同梱された Core ML エンコーダー、スマートフォンに収まるサイズに量子化して同梱したモデル、キュー、ファイルごとの言語選択、音声再生付きのセグメントブラウザ、7 種類の書き出し形式、そしてメモリ使用量を一定に保ち、2 時間の録音でも iPhone 上でプロセスが強制終了されないようにする長時間ファイルの処理です。

これはかなりの作業量です。そして、無料で自分でやるほうがいいと判断するのも、まったく合理的です。

オープンソースについてひとこと #

私たちのアプリが依存しているので言わせてください。私たちのアプリ経由でも直接でも、whisper.cpp が役に立っているなら、リポジトリにスターを付け、issue を読んでみる価値があります。ここ数年でローカルの文字起こしが一般向けのハードウェアでこれほど良くなった理由は、主にこのプロジェクトと、その下にある ggml ライブラリにあります。

私たちはこのプロジェクトを注意深く追っています。オンデバイスの文字起こしの仕組みについての記事は、実質的に whisper.cpp が何をしているかの説明です。実際に動いているのがそれだからです。