实验17-4:智能字幕与多语言翻译

从视频里取出音频,按音量起伏切分语句,交给语音识别模型转写,生成带时间轴的字幕;再由大模型翻译成其他语言。字幕可以逐条校对,导出 SRT 或 WebVTT 文件。

1. 选择视频

2. 生成字幕

3. 翻译

字幕样式

导出

字幕时间轴(可直接修改文字,点时间跳转)

还没有字幕,先点“语音识别生成字幕”。

质量检查

生成字幕后,这里会显示切分结果、阅读速度检查;示例视频还会和人工校对稿比对,计算字错误率(CER)。

技术原理

语音活动检测(VAD):把音频切成 50 毫秒一帧,计算每帧的音量(分贝);取最安静的 20% 帧作为背景噪声,比噪声高出阈值的帧算“在说话”,连续 0.15 秒安静就断开,得到一段段说话的起止时间。

识别与对齐:整段音频一次性交给语音识别模型(SenseVoice)转写,按标点切成每条不超过 18 字的短句,按字数占比映射到说话时间上,起止点再吸附到最近的说话段边界。专业字幕工具会用“强制对齐”逐字对时间,原理相同但精度更高。

字幕规范:中文字幕一般每行不超过 16~18 字、每秒不超过 9 字左右,太快观众读不完;翻译成其他语言后长度会变,需要重新检查阅读速度。