FFmpeg 8.0 から、音声を文字にする whisper フィルタが入りました。中身は whisper.cpp で、モデルのファイルを 1 つ用意すれば、動画から SRT 字幕を 1 コマンドで作れます。

日本語と英語の朗読で測ると、結果を大きく左右したのはモデルより queue(一度に処理する長さ) でした。

  • 既定の queue(3 秒)では、日本語の誤りが 27%、英語が 12%(large-v3-turbo、GPU)。queue=20 にすると、それぞれ 12% と 3% に下がり、処理も速くなりました。
  • GPU では、VAD(音声のない部分を見分ける機能)を付けると 10 倍以上遅くなりました。

基本のコマンド

動画から SRT 字幕を作ります。

queue=20 が肝です。モデルは ggml-large-v3-turbo-q5_0.bin を使います(入手は下)。

ffmpeg -i input.mp4 -vn -af "whisper=model=ggml-large-v3-turbo-q5_0.bin:language=ja:queue=20:destination=output.srt:format=srt" -f null -
設定 意味
model= モデルのファイル
language=ja 話している言語。既定の auto は自動判定
queue=20 一度に処理する長さ(秒)。既定は 3
destination= 書き出すファイル
format=srt 形式。text(文字だけ)、srt、json
use_gpu GPU を使うか。既定で有効(use_gpu=0 で CPU だけ)

-f null - は音声を書き出さない指定です。SRT の番号は 0 から始まりますが、動画に入れるときに振り直されるのでそのまま使えます。

Windows でパスを書くとき

設定は : で区切るので、C:\... の絶対パスはそのままでは切れます。次のどちらかにします。

# 1. モデルと動画を同じフォルダに置いて cd し、ファイル名だけで書く(output.srt もここにできる)
cd C:\work
ffmpeg -i input.mp4 -vn -af "whisper=model=ggml-large-v3-turbo-q5_0.bin:language=ja:queue=20:destination=output.srt:format=srt" -f null -

# 2. 値を ' で囲み、: の前に \ を付ける(区切りは / にする)
ffmpeg -i input.mp4 -vn -af "whisper=model='C\:/models/ggml-large-v3-turbo-q5_0.bin':language=ja:queue=20:destination=output.srt:format=srt" -f null -

' で囲まずに C\: とだけ書くと Invalid argument のエラーになりました。

使える FFmpeg か確かめる

whisper フィルタは、FFmpeg 8.0 以降で whisper.cpp を組み込んだビルドにだけあります。gyan.dev の配布では full ビルドに入っていて、essentials には入っていません(gyan.dev の一覧)。

ffmpeg -hide_banner -h filter=whisper

Unknown filter 'whisper' と出たら、そのビルドには入っていません。

モデルを用意する

whisper.cpp 用のモデル(ggml-*.bin)を Hugging Face から 1 つダウンロードします。

モデル ファイル 大きさ
base ggml-base.bin 148 MB
small ggml-small.bin 488 MB
large-v3-turbo(量子化) ggml-large-v3-turbo-q5_0.bin 574 MB
large-v3-turbo ggml-large-v3-turbo.bin 1.62 GB

迷ったら ggml-large-v3-turbo-q5_0.bin。下の計測で、量子化していない版とほぼ同じ精度で、ファイルは約 3 分の 1 です。

字幕を動画に入れる

映像と音声はそのままで、SRT を MP4 の字幕(mov_text)として入れます。

ffmpeg -i input.mp4 -i output.srt -map 0 -map 1 -c copy -c:s mov_text -metadata:s:s:0 language=jpn output_sub.mp4

画面に焼き込む方法や、字幕の形式の違いは字幕の記事を見てください。

実測: モデルと設定で精度と速さはどう変わるか

日本語は「ごんぎつね」(15 分 46 秒)、英語は The Gift of the Magi(13 分 22 秒)の朗読で、誤りの割合を測りました。

queue の長さ(large-v3-turbo、GPU)

設定 日本語: 時間 / 誤り 英語: 時間 / 誤り
既定(3 秒) 73 秒 / 26.8% 46 秒 / 11.9%
queue=20 56 秒 / 12.0% 33 秒 / 3.0%
queue=20 + VAD 753 秒 / 12.5% 872 秒 / 3.0%

VAD は vad_model= に Silero VAD のモデル(ggml-silero-v5.1.2.bin、Hugging Face)を指定すると使えます。

モデルごとの違い(GPU、queue=20)

モデル 日本語: 時間 / 誤り 英語: 時間 / 誤り
base 71 秒 / 22.2% 39 秒 / 6.3%
small 60 秒 / 17.3% 40 秒 / 9.6%
large-v3-turbo(量子化 q5_0) 51 秒 / 12.5% 36 秒 / 3.2%
large-v3-turbo 56 秒 / 12.0% 33 秒 / 3.0%

small の英語は冒頭の数文が抜けて誤りが増えました(VAD を付けると抜けがなくなり 3.9%)。

CPU だけで動かす(queue=20、use_gpu=0)

モデル 日本語: 時間 / 誤り 英語: 時間 / 誤り
small 262 秒 / 17.4% 190 秒 / 9.6%
large-v3-turbo(量子化 q5_0) 346 秒 / 11.6% 252 秒 / 2.9%

書き起こしで気をつけること

  • 固有名詞: large-v3-turbo でも「茂平」は「モヘイ」になりました。

RTX 4090(GPU はこの 1 機種のみ)・Core i9-14900KF(32 スレッド)・FFmpeg 8.1(gyan.dev full)で測定(2026-10-07)。音声は LibriVox の朗読(「ごんぎつね」CC0、The Gift of the Magi パブリックドメイン)、正解の文は青空文庫と Project Gutenberg。日本語は句読点と空白を除き読み(カタカナ)にそろえた文字の誤り率(表記の違いも数えると large-v3-turbo は 28%)、英語は単語の誤り率。1 人が静かに読んだ朗読での値なので、会話や雑音・BGM のある音声では変わります。queue は 3 秒と 20 秒を測りました。測定値と書き起こしの冒頭はデータのページ。