FFmpeg 8.0 から、音声を文字にする whisper フィルタが入りました。中身は whisper.cpp で、モデルのファイルを 1 つ用意すれば、動画から SRT 字幕を 1 コマンドで作れます。
日本語と英語の朗読で測ると、結果を大きく左右したのはモデルより queue(一度に処理する長さ) でした。
- 既定の
queue(3 秒)では、日本語の誤りが 27%、英語が 12%(large-v3-turbo、GPU)。queue=20にすると、それぞれ 12% と 3% に下がり、処理も速くなりました。 - GPU では、VAD(音声のない部分を見分ける機能)を付けると 10 倍以上遅くなりました。
基本のコマンド
動画から SRT 字幕を作ります。
queue=20 が肝です。モデルは ggml-large-v3-turbo-q5_0.bin を使います(入手は下)。
ffmpeg -i input.mp4 -vn -af "whisper=model=ggml-large-v3-turbo-q5_0.bin:language=ja:queue=20:destination=output.srt:format=srt" -f null -
| 設定 | 意味 |
|---|---|
model= |
モデルのファイル |
language=ja |
話している言語。既定の auto は自動判定 |
queue=20 |
一度に処理する長さ(秒)。既定は 3 |
destination= |
書き出すファイル |
format=srt |
形式。text(文字だけ)、srt、json |
use_gpu |
GPU を使うか。既定で有効(use_gpu=0 で CPU だけ) |
-f null - は音声を書き出さない指定です。SRT の番号は 0 から始まりますが、動画に入れるときに振り直されるのでそのまま使えます。
Windows でパスを書くとき
設定は : で区切るので、C:\... の絶対パスはそのままでは切れます。次のどちらかにします。
# 1. モデルと動画を同じフォルダに置いて cd し、ファイル名だけで書く(output.srt もここにできる)
cd C:\work
ffmpeg -i input.mp4 -vn -af "whisper=model=ggml-large-v3-turbo-q5_0.bin:language=ja:queue=20:destination=output.srt:format=srt" -f null -
# 2. 値を ' で囲み、: の前に \ を付ける(区切りは / にする)
ffmpeg -i input.mp4 -vn -af "whisper=model='C\:/models/ggml-large-v3-turbo-q5_0.bin':language=ja:queue=20:destination=output.srt:format=srt" -f null -
' で囲まずに C\: とだけ書くと Invalid argument のエラーになりました。
使える FFmpeg か確かめる
whisper フィルタは、FFmpeg 8.0 以降で whisper.cpp を組み込んだビルドにだけあります。gyan.dev の配布では full ビルドに入っていて、essentials には入っていません(gyan.dev の一覧)。
ffmpeg -hide_banner -h filter=whisper
Unknown filter 'whisper' と出たら、そのビルドには入っていません。
モデルを用意する
whisper.cpp 用のモデル(ggml-*.bin)を Hugging Face から 1 つダウンロードします。
| モデル | ファイル | 大きさ |
|---|---|---|
| base | ggml-base.bin |
148 MB |
| small | ggml-small.bin |
488 MB |
| large-v3-turbo(量子化) | ggml-large-v3-turbo-q5_0.bin |
574 MB |
| large-v3-turbo | ggml-large-v3-turbo.bin |
1.62 GB |
迷ったら ggml-large-v3-turbo-q5_0.bin。下の計測で、量子化していない版とほぼ同じ精度で、ファイルは約 3 分の 1 です。
字幕を動画に入れる
映像と音声はそのままで、SRT を MP4 の字幕(mov_text)として入れます。
ffmpeg -i input.mp4 -i output.srt -map 0 -map 1 -c copy -c:s mov_text -metadata:s:s:0 language=jpn output_sub.mp4
画面に焼き込む方法や、字幕の形式の違いは字幕の記事を見てください。
実測: モデルと設定で精度と速さはどう変わるか
日本語は「ごんぎつね」(15 分 46 秒)、英語は The Gift of the Magi(13 分 22 秒)の朗読で、誤りの割合を測りました。
queue の長さ(large-v3-turbo、GPU)
| 設定 | 日本語: 時間 / 誤り | 英語: 時間 / 誤り |
|---|---|---|
| 既定(3 秒) | 73 秒 / 26.8% | 46 秒 / 11.9% |
queue=20 |
56 秒 / 12.0% | 33 秒 / 3.0% |
queue=20 + VAD |
753 秒 / 12.5% | 872 秒 / 3.0% |
VAD は vad_model= に Silero VAD のモデル(ggml-silero-v5.1.2.bin、Hugging Face)を指定すると使えます。
モデルごとの違い(GPU、queue=20)
| モデル | 日本語: 時間 / 誤り | 英語: 時間 / 誤り |
|---|---|---|
| base | 71 秒 / 22.2% | 39 秒 / 6.3% |
| small | 60 秒 / 17.3% | 40 秒 / 9.6% |
| large-v3-turbo(量子化 q5_0) | 51 秒 / 12.5% | 36 秒 / 3.2% |
| large-v3-turbo | 56 秒 / 12.0% | 33 秒 / 3.0% |
small の英語は冒頭の数文が抜けて誤りが増えました(VAD を付けると抜けがなくなり 3.9%)。
CPU だけで動かす(queue=20、use_gpu=0)
| モデル | 日本語: 時間 / 誤り | 英語: 時間 / 誤り |
|---|---|---|
| small | 262 秒 / 17.4% | 190 秒 / 9.6% |
| large-v3-turbo(量子化 q5_0) | 346 秒 / 11.6% | 252 秒 / 2.9% |
書き起こしで気をつけること
- 固有名詞: large-v3-turbo でも「茂平」は「モヘイ」になりました。
RTX 4090(GPU はこの 1 機種のみ)・Core i9-14900KF(32 スレッド)・FFmpeg 8.1(gyan.dev full)で測定(2026-10-07)。音声は LibriVox の朗読(「ごんぎつね」CC0、The Gift of the Magi パブリックドメイン)、正解の文は青空文庫と Project Gutenberg。日本語は句読点と空白を除き読み(カタカナ)にそろえた文字の誤り率(表記の違いも数えると large-v3-turbo は 28%)、英語は単語の誤り率。1 人が静かに読んだ朗読での値なので、会話や雑音・BGM のある音声では変わります。queue は 3 秒と 20 秒を測りました。測定値と書き起こしの冒頭はデータのページ。