开始使用

如何为 AI 短片设计配乐?从剧情节拍到 Seed Audio 实践

学习如何用 Seed Audio 为 AI 短片生成专属配乐与配音:判断使用场景、编写声音提示词、安排对白与背景音乐的 Ducking、处理多角色对话,并在时间线中叠加或替换声轨。附车站实做视频、实际提示词和剪辑截图。

配乐和配音是 AI 短片的点睛之笔。视频模型已经可以音画同出,但并非专门的声音生成工具。如果希望让影片的质感更进一步,则需要采用独立的声音生成模型。本文以 Seed Audio 为例,演示如何为影片生成专属的声音片段。

先听一段 Seed Audio 模型页的场景声音案例:

这段声音把人声的空间回响、鲜明的情绪演绎和背景音乐结合在一起。试听时,可以留意尾音怎样延续、语气怎样起伏,以及音乐怎样配合表演。这些细节,也是为关键情节单独设计声音时值得打磨的部分。

先完成画面,选出需要加强的情节,再生成声音,放回镜头试听,最后剪辑。

Part 01|Seed Audio 的使用场景

视频模型可以在生成画面的同时生成声音,但关键对白的情绪演绎、细微停顿,以及背景声音与人物的配合,未必能达到这场戏需要的效果。画面已经不错,对话差点意思,或背景声无法调整到自己需要的阶段,这时就值得单独加强声音。

视频提示词主要用来描述画面、动作、运镜和分镜,能够分配给声音的篇幅有限。需要重点演绎的内容,可以在画面确定后,交给 Seed Audio 这样的声音生成模型,集中描述台词怎样说、背景怎样配合、节奏怎样展开。

需要加强的内容可以专门设计什么
关键台词与情绪同一句话带着歉意、试探还是惊讶;重音在哪里,开口前后停多久
人声与背景的配合人物说话时音乐让位,句末留白后再展开;脚步和风声保持在背景
场景中特定的声音画外脚步、敲门、机械运转,或某一种乐器的独奏、演奏方式与音色
情绪转折画面相同,用温暖、悲伤或危险的声音改变观众对相遇的理解

先在视频制作阶段确定台词和对话关系,再为选定的片段补强声音,这样可以继续使用已经满意的画面。已有合适的原声就保留;替换对白时,要核对时长和口型,并避免新旧对白重叠。

这组三段音乐分别生成,再放到同一段五秒画面下对照。下面是成片实际使用的三条提示词:

WARMTH:温暖的大调钢琴与轻柔弦乐,让等待得到回应。

Create a five-second instrumental film-music cue for a quiet reunion at an old European railway station. Begin immediately with gentle, sparse piano in a warm major harmony. Around the middle, a soft sustained string chord opens with a little hope, as a waiting woman notices someone arriving offscreen. End softly and reassuringly. Intimate and restrained, no big climax. Music only: no speech, narration, singing, voices, station ambience, sound effects or percussion. Do not read the instructions aloud.

SORROW:大提琴、下行小调旋律与未解决的结尾,让相遇带上遗憾。

Create a five-second instrumental film score that immediately conveys grief and a painful reunion. Start at once with an expressive solo cello playing a clearly descending minor-key melody, supported by dark sustained violas. Let the melody fall and linger as if someone realizes a loved relationship is lost. Strongly sorrowful and emotionally exposed, intimate rather than epic. No cheerful or comforting resolution. Keep the music clearly audible throughout, ending with an unresolved sustained note. Music only. No speech, singing, voices, piano, ambience or sound effects.

DANGER:重复低音、脉冲、不协和弦乐与末尾留白,让画外来者显得危险。

Create a five-second instrumental psychological-thriller score with unmistakable immediate danger. From the very first moment, use a tight repeating low-string ostinato and a deep controlled bass pulse. Add close, tense dissonant high strings, building rapidly in density as someone threatening approaches offscreen. Make the tension clear and urgent rather than faint background atmosphere. During the final half-second abruptly cut the music to silence. No jump-scare impact. Music only. No speech, singing, voices, gentle piano, warm harmony, ambience or literal sound effects.

每段前有 0.75 秒标题卡,完整对照约 17.25 秒。试听时,可以留意同一个抬眼动作怎样被三种音乐分别解释成安心、遗憾和警觉。

Part 02|Seed Audio 提示词写法

写声音提示词,要交代三件事:说什么、听起来怎样、什么时候发生。

音频生成接口文档提供了一个悬疑对话示例:手机震动开启场景,鸟鸣持续在背景,马林巴配合电子音色建立悬念;两位男子交替说话,最后以车辆和脚步声推进动作。它把人物、音乐和声音事件写在同一段提示词里。

提示词要素文档示例怎样处理写自己的片段时填什么
内容:谁说什么分别指定两位男子的台词与说话顺序角色名、逐字台词、语言,以及是否有人回应
声音:怎样被听见区分低沉厚实与沙哑成熟的男声,指定口音;明确主奏乐器与伴奏音色、语气、人物距离、环境与乐器,避免只写“电影感”
节奏:怎样展开先有提示性音效,再展开对话;追问与解释带动语气变化,末尾接动作声音开口时机、语速、句间停顿、背景的进入与退出

以车站重逢为例,可以先确定:一句准确的台词 + 一种具体的表演 + 一次清楚的声音转折。 画外男子只说“You waited.”,用低声、克制的亲近感和句末展开的钢琴表现相遇。

车站案例的声音顺序是:轻风与钢琴 → 两下轻脚步 → 男声说话,音乐保持很轻 → 短暂停顿 → 钢琴展开。

台词用引号标出,注明女孩不回答;脚步要轻于人声,广播和列车声不进入。先把这些关系写清楚,再按镜头时长补充大致时间;时间要求要对照生成结果核对,尤其是音乐和音效的具体落点。

如果片段需要马林巴独奏,就写清乐器、敲击质感、演奏速度、音符密度与收尾方式。下面是可尝试的原创提示词,尚未生成试听:

Create an eight-second solo marimba cue for a quiet, suspenseful scene. Use soft mallets and a warm wooden tone. Begin with sparse, slow notes and clear gaps between them. Gradually make the repeating pattern slightly more insistent, then stop before the final beat and leave a short silence. No voices, drums, synthesizers or other instruments.

这里的节奏是“稀疏 → 稍微逼近 → 突然留白”,乐器、演奏方式和声音进退都可以逐项核对;质感与节奏是否成立,仍要靠试听判断。

Part 03|对白中的 Ducking

Ducking 就是在人物说话时降低背景音乐,台词结束后再恢复。 对安静的重逢戏,除了降低音量,也可以让伴奏更稀疏,把听觉重点留给人物。

用 Seed Audio 同时生成人声与背景时,把这个关系写入提示词:

男子低声说出“You waited.”时,钢琴保持很轻,风声退在远处,脚步已经停下。台词后留一个短暂停顿,再让钢琴轻轻展开,承接女孩的反应。

不要只写“自动 ducking”。明确谁需要被听清、什么声音让位、什么时候恢复,再检查模型是否做到了。本例中这些关系都由同一次生成一并处理。

如果视频已经有对白,也可以截取原始声音作为参考,写清希望保留的音色、台词与节奏,以及需要调整的语气或背景关系。生成后对照画面试听,再替换对应片段的原声轨;具体剪辑方式见 Part 05。

画面沿用 Seedance 2 Fast 生成的五秒车站镜头:女孩低头等待,随后抬眼看向画外。男声只说一句话,轻脚步提示来者靠近,台词后的钢琴接住女孩的沉默反应。

这段声音实际使用了下面的提示词。生成时要求八秒,为台词前后的脚步、停顿与音乐展开留出空间:

Create one complete eight-second cinematic sound scene at a quiet old European railway platform at dusk. Generate dialogue, subtle footsteps, outdoor ambience and piano music together as one coherent scene. At the beginning, a very gentle distant breeze and sparse soft warm piano establish quiet anticipation. Between about 1.0 and 2.1 seconds, exactly two very soft, unhurried shoe footsteps approach offscreen on dry concrete and stop a few feet away. The footsteps are a delicate background detail, much quieter than the speaking voice, never sharp, heavy or dramatic. Around 2.5 seconds, one adult man just offscreen speaks a single short line in natural, clear British English, with quiet surprise and restrained affection: "You waited." Only those two words, only one male speaker. Keep the music very soft around his words so his intimate delivery remains clear. After the line, leave a brief emotional pause with faint breeze. From about 4.8 seconds, let the piano gently open into a warm sustained chord, supporting the woman's silent reaction, then settle quietly at eight seconds. No additional dialogue, no reply, no narration, no singing, no announcements, no loud trains, no impact sounds. Do not speak these directions. Preserve the quiet intimacy of the reunion throughout.

原始音频为八秒,成片截取其中连续的第 1.8–6.8 秒,放入五秒画面;后期只统一调整整段音量并加首尾短淡化,没有另行叠加人声、脚步或配乐,也没有分轨做 ducking。

试听时检查三件事:台词能否听清,脚步是否足够轻,音乐是否在说完后才展开。 如果某项没有做到,就针对这一项修改提示词,继续使用已确认的画面。

Part 04|多角色对话

多角色提示词要把角色、音色、台词归属和接话顺序对应起来。先用一小轮对话确认两个人的声音,再增加台词。

角色声音与表演本轮台词
Alex,画外男子偏低、温暖的成年男声,自然英式英语,带一点惊讶“You waited.”
Maya,画内女孩较明亮、柔和的成年女声,自然英式英语,平静而坚定“I said I would.”

角色名在整段提示词里保持一致,逐句注明谁说话。音色与表演分开写:同一个人可以先惊讶、再放松,仍应听起来像同一个角色。

Alex 说完后,给 Maya 留一点反应时间,再让 Maya 回答。若希望两人轮流说话,就明确不重叠;若剧情需要打断,要说明谁打断谁、从哪一句开始。两人说话期间,背景音乐都保持很轻,在整轮对话结束后再展开。

下面是一个原创的双人提示词示例,尚未生成试听。它在车站案例的基础上增加了女孩的回答,需要搭配有相应表演的画面使用:

Create one complete eight-second sound scene at a quiet railway platform. Two adult characters speak in natural British English.

Alex: a warm, low male voice, a few feet offscreen, quietly surprised. Maya: a softer, brighter female voice, nearby, calm and quietly certain.

Begin with faint wind and sparse piano. Alex says only: "You waited." After he finishes, leave a brief pause for Maya's reaction. Maya then replies only: "I said I would." Keep each voice distinct and consistent. Speak only the quoted dialogue; do not read the character names or instructions. No overlapping dialogue or extra speakers. Keep the piano very quiet during both lines. Let it open gently only after Maya finishes, leaving room for the final reaction.

先不看画面,听能否分辨两个角色,再对照镜头检查台词有没有说反、是否多出一句话、停顿是否够用,以及口型是否相容。

如果连续几轮对话出现音色混淆或说话人错位,可以先缩短成一轮问答生成,再分段处理后续对话。各段复用同一组角色描述,并检查拼接后的音色、环境声和音乐是否连续;文字描述本身不能保证跨段声音完全一致。

Part 05|声轨剪辑

Arcloop 中替换 AI 短片原声的剪辑示例

上图以 Arcloop 为例:保留上方的五秒画面,将原声轨静音,再在下方加入 Seed Audio 生成的完整声音片段,让对白、环境声和配乐一起接替原声。拖动音频位置,使台词和人物反应对齐,再完整播放检查衔接。

如果生成的是纯背景音乐或环境声,新增一条声轨即可。 保留视频中需要的对白和原声,把新音频放在下方,调整起止位置和音量。人物说话时,可以在背景轨上加音量关键帧:开口前降低,说话期间保持,句末停顿后回升。

如果生成的是背景声与人物台词的完整片段,就替换对应位置的原声。 将视频与原声音轨分离,在需要替换的范围内切开并静音或移除旧音频,再对齐新音频,避免同一句台词播放两次。其余片段的原声继续保留。

替换后检查台词与口型、反应是否对得上,片段首尾是否突变;必要时加短淡化,让环境声衔接自然。人声和音乐已经混在同一个文件里时,整体降音量会同时降低人声;需要调整两者关系,可以重新生成,或使用独立音轨混音。

打开 Seed Audio 模型页,从一个关键片段开始:确定谁说什么、声音怎样、何时让位,再放回视频试听。

分享

发现更多

厚外套和薄围巾,在同一阵风里不该一样

厚外套和薄围巾,在同一阵风里不该一样

有剧本了,怎么变成片子

有剧本了,怎么变成片子

剧本一键生成 AI 短剧

剧本一键生成 AI 短剧

Live2D 模型 Prompt 指南

Live2D 模型 Prompt 指南