ガイド

実際にはどの Whisper モデルが必要か

Tiny、Base、Small、Medium、Large。大きいほど精度は高く、そして大幅に遅くなります。多くの録音では、その差は宣伝が示唆するより小さいのが実際のところです。

ローカルで動く文字起こしアプリはどれも OpenAI の Whisper の何らかのバージョンを動かしていて、多くはどのモデルサイズに対応しているかを売りにしています。大きいモデルは確かに精度が高いのですが、同時に劇的に遅く、ディスク上でもずっと大きく、そして精度の差はモデルよりも録音の質にはるかに強く依存します。

反射的に一番大きいものを選ばずに考えるための整理を示します。

サイズ #

Whisper には主要なサイズが 5 つあります。数値そのものより、カーブの形が重要です。

モデル パラメータ数 ディスク上のおおよそのサイズ
Tiny 3,900 万 約 75 MB
Base 7,400 万 約 140 MB
Small 2 億 4,400 万 約 470 MB
Medium 7 億 6,900 万 約 1.5 GB
Large 15 億 約 3 GB

1 段階上がるごとに、ひとつ下のおよそ 3 倍の大きさになり、実行時間もそれに応じて延びます。Small から Large へはパラメータ数で約 6 倍です。長い録音では、コーヒーを淹れて戻るか、昼食に出かけるかの違いになります。

精度のカーブは、それほど速くは上がりません。Tiny から Small までは急に伸び、そこから平らになります。

精度を実際に決めているもの #

見落とされがちなのがここです。モデルサイズより録音の品質のほうが重要です。

クリーンな録音、つまり話者が 1 人、まともなマイク、静かな部屋、標準的なアクセントであれば、Small で十分に文字起こしできます。同じファイルを Large に通しても、直るのは数語、その多くは固有名詞です。

文字起こしを本当に壊すのは次のようなものです。

  • 背景ノイズ。 カフェ、エアコン、車の音。
  • 重なった発話。 2 人が同時に話す状況は、どのモデルにとっても困難です。
  • マイクからの距離。 会議室のテーブルを挟んで録音された音声。
  • 強いアクセントや、あまり一般的でないアクセント。 とくに、モデルが学習時にあまり見ていない言語では顕著です。
  • 専門用語、人名、略語。 珍しい姓は、どのモデルサイズでも直りません。
  • 英語以外の言語。 Whisper の学習データは英語に大きく偏っているため、他の言語ではモデルサイズによる差がずっと大きくなります。

これらのいくつかが当てはまる音声なら、大きいモデルにはお金を払う価値があります。ひとつも当てはまらないなら、誤差のような差にお金を払っていることになります。

実務的な選び方 #

Tiny — 下書きと検索用です。2 時間の録音のどの部分が必要かを見つけるには十分ですが、公開できる品質ではありません。

Base — ボイスメモ、自分向けの覚え書き、そして結果を自分で読んで意図が分かるクリーンな 1 人の音声。

Small — たいていの作業における妥当な既定値です。まともなマイクで録ったインタビュー、ポッドキャストのエピソード、講義の録音、話し手がマイクの近くにいる会議の音声など。クリーンな英語の発話では、ここでカーブが平らになります。

Medium と Large — 難しい音声、英語以外の言語、あるいは全文を読まずに公開するもの。自分の時間が待ち時間より価値があり、文字起こしを読み直すコストのほうが追加の処理時間より高い場合にも、これが正しい選択です。

とにかく試す #

正直な答えは、録音についての説明だけでは誰にも判断できないということです。上に挙げた変数が互いに影響し合うからです。

いちばん条件の悪いファイル、つまりノイズの多いもの、アクセントが難しいもの、すでに問題だと分かっているものを取り出して、手元にあるモデルサイズすべてで実行してください。そして文字起こしを比べます。このテスト 1 つが、どんなベンチマーク表よりも多くを教えてくれます。自分のマイク、自分の部屋、自分の題材を使っているからです。

小さいモデルがいちばん難しいファイルを処理できるなら、他のすべても処理できますし、数ギガバイトと多くの待ち時間を節約できたことになります。

このアプリの立ち位置 #

率直に言います。Offline Transcription が同梱しているのは Tiny、Base、Small です。Medium と Large は含まれていません。

これで日常的な文字起こしの大半、つまりクリーンなインタビュー、ポッドキャスト、講義、会議、ボイスメモはカバーできますし、アプリを小さく速く保てます。iPhone でも同様です。大きいモデルが本当に働いてくれるような難しい音声や英語以外の録音を日常的に扱うなら、それらを提供するアプリのほうが適していますし、MacWhisper との比較でもそう明言しています。

アプリは無料でダウンロードできるので、上のテストにかかるのは実行する時間だけです。

モデルサイズとはまったく別の話 #

どのモデルを使うにせよ、どこで実行されるかは別の問題です。 Whisper はオープンなモデルで、自分のマシンでも誰かのサーバーでも動かせます。クラウドの文字起こしサービスはおそらく Large を動かしていて、同時にあなたの録音の写しも保持しています。

Small をローカルで動かすことと、Large を他人のデータセンターで動かすことは、同じ尺度の上の 2 点ではありません。録音が機密なら、その判断が先で、モデルサイズは後です。どちらの場合でも検証する方法は、アプリが本当にオフラインかを確かめるガイドで扱っています。

Offline Transcriptionを入手

音声も動画も、すべてお使いのMacの中だけで文字起こしします。アップロードは一切なく、アカウントも不要、分単位の従量課金もありません。

macOS 13.0 or higher · iOS 16.4 or higher