ai字幕與影片補幀：AI 影片後製的響度、配音與交付實測

作者 Nick TasiAds & Code 創辦人·發布 2026-10-23·約 15 分鐘讀完

AI 影片生成出來只是毛片，後製還要過五關：配音與配樂、混音響度、ai字幕、影片補幀與放大、組片交付，每一關都有不會報錯、卻會悄悄做壞的地方。字幕的文字可以交給 whisper 這類語音辨識模型聽寫，但字幕出現的時間不能照辨識結果，要對準聲音真正開口的那一格。

文中的實測數字，都是我們自己的測試與研究：2026 年 9～10 月、本團隊一台 RTX 5090 32GB 主機實測，工具是 ComfyUI、ffmpeg、faster-whisper 與 NVIDIA 的 RTX 影片外掛；換顯卡或換軟體版本，秒數會不同。響度標準與 ffmpeg 參數以官方文件為準，附上原文連結。影片本身怎麼生成，寫在 AI 生成影片的完整流程；模型的步數、加速與顯存，寫在 海螺 AI 本地實測。

AI 影片後製的實測數字

AI 影片後製最容易出錯的地方，是那些程式不會報錯、肉眼一下看不出來的細節：字幕早出 0.4 秒、限幅濾鏡把音量拉回滿格、補幀在換鏡處補出殘影、組片少掉一格。表中數字是我們自己在同一台 RTX 5090 32GB 主機上做的測試，2026 年 9～10 月量到的結果，每一列都附設定與樣本條件，換機器或換版本要自己重量。

ai字幕怎麼做：文字交給辨識，時間要自己對

ai字幕的做法，是先用 whisper 這類語音辨識模型把台詞聽寫成文字，再決定每一句出現和消失的時間。文字大多可以直接用，時間不行：我們量到辨識結果的開口平均比實際早 0.4 秒，字幕會在人還沒張嘴時就先跳出來。改用 25～50 毫秒的音量包絡找真正開口後，字幕起點誤差的中位數從 0.27 秒降到 0.04 秒。

交片前，程式會擋兩種字幕：比聲音開口早超過 0.25 秒的，以及晚超過 0.15 秒的。早出一點觀眾還能接受，晚出會讓字幕蓋到下一個鏡頭，所以晚的門檻抓得比較緊。

整段聽會漏句，一鏡一鏡聽會幻聽

拿 whisper 核對 AI 影片的台詞有沒有講對，整段丟進去聽會漏掉短句：一段 7 句台詞只聽出 4 句。切成一鏡一鏡聽，7 句全部聽到，卻冒出另一個問題：沒有人講話的鏡頭，模型會「聽」出固定幾種字串，31 支鏡頭有 25 支出現這種幻聽。我們把這些固定字串列成清單擋掉，幻聽從 52 個降到 0 個，真正的台詞一句沒少。

要檢查「沒台詞的鏡頭有沒有冒出人聲」，faster-whisper 要開 vad_filter。不開的時候，純雜訊會被聽成幻聽字串，而且每個字的信心值高達 0.66～1.0，靠信心門檻濾不掉。faster-whisper 官方說明寫這個功能是整合 Silero VAD 模型，濾掉沒有講話的片段，預設只移除超過 2 秒的靜音。

同一支片聽兩次，結果可能不一樣

whisper 對同一支片連跑 4 次，出現 2 種不同的全文，同一句字幕的起點一次是 7.4 秒、一次是 8.2 秒。所以改了字幕程式要比新舊版本時，我們讓辨識只跑一次，把同一份結果同時餵給新版和舊版，差異才會是程式造成的，而不是辨識本身的隨機性。

字幕放哪裡、什麼時候燒進畫面

調色和底片顆粒要接在字幕之前，字幕才不會被調色、也不會長出顆粒；沒有調色檔時，產出跟以前逐位元組相同。直式短影音的字放在安全範圍內：1080×1920 的畫面，上方 14%（269 像素以內）和下方 35%（1248 像素以下）不放字，封面那一格就要有完整標題。這個比例跟 Meta 廣告指南的 Reels 規格一致，官方建議上方至少 14%、下方 35%、左右各 6% 不放文字與商標。

橫式正片改成 IG 直式時，不要沿用正片燒好的字幕：縮到直式只剩約 37 像素高，手機上幾乎看不清。我們改成 72 級字，放在正片畫面的下方。

AI 配音：聲音範本先量音高和語速

AI 配音最常見的問題，是同一個聲音範本每段生出來不像同一個人。我們自己測試用 MiniMax H3 生旁白時，同一個範本、不同段落的音高量到 232、134、186、190 Hz，差距大到聽得出來。做法是先挑一段滿意的當範本，再用它生其他段，每段都量音高；要低沉的主播聲，音高抓在約 130～160 Hz。配音交出去之前，語速和停頓也要量。

多角色要先做選角聲音樣本

只給一個角色的聲音範本，模型會把同一副嗓子套到所有角色，說話人辨識的相似度量到 0.89 和 0.88。女聲和高亢的少年聲相似度 0.83 時，觀眾聽起來就是同一個人；換掉其中一個聲線後降到 0.51。之後的測試，產影片前都先替每個角色做一段 5 秒的選角聲音樣本，聽過再開拍。

配音聽起來「慢又僵」的原因

28 句旁白裡，每句開頭加了擬聲字，語速從每秒 4.41 字拖到 3.45 字；而且有 25 句的停頓數剛好等於句中的標點數，模型看到逗號就停。同一口氣要講完的話不要用逗號切開，重做聲音範本時，語速要每秒 4.5 字以上才用。

切聲音範本之前，每一段都要量音高。我們遇過一段範本的開頭 0.3 秒其實是另一個角色在喊（432 Hz），聽寫沒有抓到。範本前後各留 0.2 秒以上完全安靜的空白。

本機語音複製與動畫片配音

本機語音複製我們測過 F5-TTS 1.1.22：純 CPU 跑一句短句約 18 秒，聲音樣本用 3～10 秒的乾淨人聲效果最好。它靠 torchcodec 讀音檔，需要 FFmpeg 的共享版 DLL，裝成靜態版時程式結束碼是 0、卻什麼都沒產出。設定寫在 TOML 檔裡，不要從命令列傳中文。語音複製只用在本人同意使用的聲音。

程式動畫片用 HyperFrames 在本機算圖，只需要 Chrome 和 FFmpeg，不用 NVIDIA 顯卡。它內建的本機配音 Kokoro 只有普通話、沒有台灣腔，我們的測試改用台灣男聲的線上語音合成，整支片只有配樂這一步用到本地 GPU。

用參考影片生成畫面時，H3 會重新生成一條音軌，跟原本的聲音頻譜相似度 0.883，聽起來接近但不是原聲。因為畫面本來就是照原音生成、時間對得上，最後用 ffmpeg 把原本錄好的聲音換回去就好。

AI 配樂：一首撐不滿 60 秒就拆兩段

AI 配樂我們測試的是開源的 MiniMax Music 3，用 ComfyUI 內建節點跑。ComfyUI 官方教學寫它最長能生成 5 分鐘的完整歌曲，輸出 32 kHz、16 位元立體聲。實際跑起來每秒約處理 6.5 格（25 格等於 1 秒音樂），一幕 60 秒約 5 分鐘產完；模型常提早收尾，長度上限要設成該幕長度再加 15 秒。

要一首配樂貫穿 60 秒以上，段落數和上限都要拉高。段落數 8、上限 77 秒時，5 首裡有 3 首只寫了 28～45 秒就收尾；段落數改成 12、上限 90 秒後，長度到 79～90 秒。超過 50 秒的一幕，我們一開始就拆成上下兩段，因為要 59.2 秒的那首只寫出 47.9 秒。

配樂要跟著題材換。古裝武俠片只用五聲音階的國樂編制（古箏、琵琶、二胡、戰鼓），不放西洋管弦、銅管或日本太鼓；同一部片依場景換編制與速度，關鍵時刻準時切換。編制與速度先寫成需求單，確認後才產。

混音與響度：AI 影片要調到幾 LUFS

AI 影片的響度要看發在哪裡。串流與社群常見的基準是 -14 LUFS，Spotify 官方說明會把音軌調到 -14 dB LUFS；電視廣播的 EBU R128 是 -23.0 LUFS、容許 ±1.0 LU，兩邊對真峰值都定在 -1 dBTP 以下。我們的社群短片成片約 -14.4 LUFS、真峰值 -2.2。

混音的基準是：配樂比台詞低 8dB，講話的時候再壓 8dB，峰值縮到 0.97。笑點底下不放配樂。驗「講話時配樂有沒有壓低」，要比同一時段壓前與壓後的音量，壓 8dB 的地方要量到 8.0，沒壓的地方量到 0.0，兩個對照都對，這把尺才可信。

H3 生成的原聲幾乎沒有環境音，沒講話的地方只有 -60～-66dB，提示詞寫了風聲也一樣，台詞中間的停頓是數位上的死寂。組片時我們鋪一層 -46dBFS 的輕風聲。H3 的音訊是 32kHz。剪接點的聲音要交叉淡化：硬切會「喀」一聲，我們在每個接點前後各多拿 10 毫秒，做 20 毫秒的交叉淡化，總長度不變；ffmpeg 對應的濾鏡是 acrossfade。

ffmpeg 的 alimiter 預設會把音量拉回滿格

用 ffmpeg 的 alimiter 限幅時，只寫 limit=0.75 等於沒限：它預設會把輸出自動拉回 0dB。ffmpeg 官方文件對 level 參數的說明是「Auto level output signal. Default is enabled.」，開著時會把音訊正規化回 0dB。我們的成片只寫 limit=0.75 時量到 -12.0 LUFS、真峰值 -0.2；加上 level=disabled 後變成 -14.4 LUFS、真峰值 -2.2，手機版 -1.7。

alimiter=limit=0.75:level=disabled

驗收用 ebur128 開真峰值模式量整支成片，真峰值不超過 -1 才放行：

ffmpeg -i final.mp4 -af ebur128=peak=true -f null -

有大小聲落差的片，不要用動態 loudnorm

恐怖片這種刻意有大小聲落差的片，用動態 loudnorm 會把尖叫和悄悄話拉成一樣大，我們量到 -11.9 對 -11.5，嚇人的效果全沒了。改成先用 ebur128 量整體響度，再乘一個固定增益到 -15 LUFS：成片的悄悄話在 -17～-20、尖叫 -13.7、整體 -15.0、峰值 -1.3。ffmpeg 文件寫明 loudnorm 有動態與線性兩種模式，線性模式要先填好量測值，條件不符時會退回動態模式。

母片聲音一律用 256k

母片聲音用 192k 的 AAC 壓縮時，很陡的開口會衝過 0dBFS：壓縮前真峰值 -2.4，壓成 AAC 後變成 +0.5～+1.5。改成 256k 後是 -2.31，所以母片一律用 256k。Spotify 的官方建議也提到，母帶真峰值保持在 -1 dB 以下，對 AAC 這類有損格式最好，轉檔時不會多出失真。

loudnorm 之後要補 asetpts

loudnorm 之後一定要接 asetpts=N/SR/TB，不加的話，我們的片尾會跳 0.075 秒。ffmpeg 文件寫 loudnorm 在動態模式下會把音訊升頻到 192 kHz 來量真峰值，建議用 -ar 或 aresample 指定輸出取樣率；文件裡 asetpts=N/SR/TB 這個範例，用途是依樣本數重新產生時間戳。

影片補幀與放大：只做整數倍，換鏡處不補

影片補幀是在相鄰兩格之間算出新的中間格，讓每秒 24 格變成 48 格，動作看起來更順。我們只做整數倍的 24 補到 48，用 ComfyUI 內建的 RIFE 4.26；換鏡頭的地方不補，改放重複的前一格，不然會補出兩個鏡頭疊在一起的扭曲殘影。補幀也不會讓畫面變清楚：原本糊的格子，補完一格都不會變清楚。

選模型的方法，是把奇數格藏起來，讓每種方法把它補回來，再跟被藏起來的原格比 PSNR（數字越高，補出來的越接近原本那一格）：

RIFE 兩個版本只差 0.04 dB；RIFE 官方說明目前建議多數場景預設選 4.25。

換鏡點要先列出來，不能只靠殘影偵測

ComfyUI 內建的補幀節點不偵測換鏡頭。我們先用畫面跳變偵測列出所有換鏡點，把那幾格改成重複前一格。另外也試過用「中間格約等於前後平均」去抓殘影，83 個殘影只抓到 1 個，所以它只能當輔助，不能單靠它把關。H3 原片有時每 4 格出現 1 格重複，補幀前要先挑掉，不然補完會變成兩格重複，播起來一頓一頓。

補幀存 PNG 還是直接出影片

補幀結果存成 PNG，一段要 38～42 秒，其中顯卡只花 6 秒；直接輸出影片一段 24～26 秒，每部片還能省約 9GB 空間，但畫面暗了約 1 階（跟原片的三色差 1.4／1.4／0.5，PNG 版是 0.7／0.5／0.6）。我們預設存 PNG。寫實片維持每秒 24 格、不補幀，避免電視「動態平滑」那種肥皂劇感；武俠打鬥這類動作多的片，才補到 48 格。

NVIDIA RTX 補幀與 RTX VSR 放大

NVIDIA 的影片後製外掛升到 0.2 版後，新增的 RTX Video Frame Generation 把 107 格補成 213 格只花 1.3 秒，畫面沒有殘影；升級前後的放大結果互比 PSNR 50.8 dB，肉眼看不出差別。只升外掛、不升 nvidia-vfx 套件會壞掉。ComfyUI 官方部落格寫這個補幀節點支援 2 倍到 16 倍，換鏡會自動偵測；放大節點最多放大 4 倍、輸出最大 8192 像素。

RTX VSR 放大的品質檔要選 HIGHBITRATE_* 開頭的；輸出尺寸要是 2 倍，或寬高都是 16 的倍數。要 1080p 時，先放到 2688×1536，再用 ffmpeg 的 lanczos 縮回來。放大完一定抽格看過再交。先用小畫面生成、再放大兩倍的速度對照，寫在 海螺 AI 本地實測。

放大和補幀都有救不了的東西：補幀救不了模糊，VSR 放大救不了遠景的小臉。遠景臉糊，解法是用原生 768×1344 生成，或把人物戲改成近景。

網路上常見的三個加速建議，我們讀 ComfyUI 原始碼與執行紀錄查過：--highvram 會關掉 ComfyUI 的動態顯存管理，反而容易爆顯存；--force-fp16-vae 這個參數不存在；調高 CFG 約慢一倍，因為我們的工作流程 CFG＝1，原始碼在 CFG＝1 時省掉了一半運算。ComfyUI 的安裝與節點設定，寫在 ComfyUI 教學。

組片：格數要一格一格對

組片最怕的不是報錯，是少一格卻全部驗收都綠燈。ffmpeg 的 fps=24 會吃掉片尾 1 格；tpad 接在 concat 後面沒有補到；段內剪接直接塞進整部片的大濾鏡圖，少了 51 格。現在每段先輸出中間檔，驗格數，也驗聲音長度跟畫面差不到 0.08 秒，都對了才組下一段。

IG 直式版疊完封面圖再接 fps=24，一樣會吃掉最後一格。ffmpeg 文件寫 fps 濾鏡會視需要複製或丟掉畫格，轉成固定格率，所以接在哪一步、頭尾的時間戳對不對，都會影響最後一格留不留得住。tpad 的 stop 參數則是在影片串流尾端補幾格。

量聲音長度也有坑：用 PyAV 讀雙聲道交錯音訊，to_ndarray() 出來的形狀是 (1, 2N)，直接平均會讓長度變兩倍，一段 28.27 秒的聲音量成 56.5 秒。現在量音訊一律用 ffmpeg 解成固定格式，並先核對長度。

交付規格：手機版、高畫質版、直式版

交付我們固定分兩份：手機版控制在 30MB 內，走通訊 App 傳；母片走 Telegram 傳檔，上限 50MB、不壓縮。Telegram 官方 Bot API 文件寫機器人目前能傳送最大 50 MB 的檔案。傳完要看回傳的檔案大小等於本機大小，才算傳成功。

H3 原生音訊是 32kHz，要上 YouTube 的版本，照官方建議輸出 48kHz。

30MB 內的手機版留不住底片顆粒。母片的顆粒量當作 1.00，手機版有加顆粒的只剩 0.63、沒加的是 0.58，x264 的 -tune grain 也只到 0.66。加了顆粒的母片也極難壓，一支 23 秒的片 161MB、35 秒的片 79MB。要顆粒感的片，手機版就接受它會變乾淨。

發片前還有幾條平台規定：

• Instagram：官方說明中心寫一則貼文最多 5 個主題標籤，超過就發不出去。
• Facebook、Instagram、Threads：Meta 2024 年 2 月 6 日的官方新聞稿寫明，發佈寫實的 AI 影片或擬真聲音時，要使用揭露與標示工具，沒標可能被處罰。
• TikTok：官方新聞稿寫社群規範要求替含有寫實影像、聲音或影片的 AI 生成內容加標示。

要投 Meta 廣告的直式片，版位比例與安全區寫在 廣告影片製作流程與費用。

踩過的坑：現象、原因與修法

AI 影片後製的坑，多半是「程式跑完、結束碼 0、驗收也是綠的」，成品卻是壞的。表中每一條都是我們在 2026 年 9～10 月實際踩過的，照「現象、原因、怎麼修」整理，原因欄只寫查證過的部分。共同的教訓是：檢查要量最終成品，不要只看程式有沒有報錯；新寫的檢查也要先拿一定該中、一定不該中的兩組樣本試過。

我們的 AI 影片製作方案：交片前的後製檢查

我們提供 AI 影片製作 服務，價格是單支 15 秒 $100 USDT、30 秒 $180 USDT、60 秒 $300 USDT；需要每個月固定換素材的帳戶，有月包 Starter $350 USDT。每支片交出前，都會跑文中這幾項後製檢查：響度與真峰值、ai字幕的起點有沒有對到開口、格數與聲音長度，並交手機傳得動的版本和母片兩份。

實際做過的廣告影片案例，從收素材、分版本到看片後重做哪一段，寫在 廣告影片製作流程與費用。

如果你要的不是代做影片，而是把字幕對時、響度檢查、交付壓檔這類步驟做成自己公司的工具或自動化流程，看 自動化開發，依功能報價，評估不收費。

常見問題

ai字幕可以直接用語音辨識給的時間軸嗎？ 不建議。我們量到辨識結果的開口平均比實際早 0.4 秒，改用 25～50 毫秒的音量包絡找真正開口後，字幕起點誤差的中位數從 0.27 秒降到 0.04 秒。

影片補幀能讓模糊的 AI 影片變清楚嗎？ 不能。補幀只是在兩格之間多算一格，原本的格子一格都不會變清楚；遠景小臉糊掉，要改用原生 768×1344 生成，或把人物戲改成近景。

AI 影片的響度要調到多少？ 要看播放的地方。串流與社群常見的基準是 -14 LUFS，電視廣播的 EBU R128 是 -23 LUFS，兩邊對真峰值都定在 -1 dBTP 以下；我們的社群短片成片約 -14.4 LUFS、真峰值 -2.2。

每秒 24 格的 AI 影片一定要補幀嗎？ 不一定。寫實題材我們維持每秒 24 格，避免像電視動態平滑那種肥皂劇感；武俠打鬥這類動作多的片，才補到每秒 48 格。

AI 生成的影片發到 Instagram 或 TikTok 要標示嗎？ 寫實的要。Meta 要求在 Facebook、Instagram、Threads 發佈寫實的 AI 影片或擬真聲音時使用揭露標示工具，TikTok 的社群規範也要求替含寫實影像、聲音或影片的 AI 生成內容加標示。