VibeVoice秒级将文本转换为自然、多话筒语音，具有独特的 AI 声音

VibeVoice 是一款 AI 工具，能够将文本转换为自然流畅、具备多说话人且各具特色的音频。它基于微软的 VALL‑E X 模型，并采用 VALL‑E 风格的架构，将文本到语音（TTS）视为语言建模任务。这种方法使生成的语音异常自然。 该工具旨在编排栩栩如生的对话，提供完整的 AI 语音阵容。它支持多说话人能力，可从单一脚本生成各具特色的声音。VibeVoice 还提供跨语言合成，能够在英语和中文之间无缝切换，同时保持一致的声音特征。 VibeVoice的主要特性包括能够捕捉人类语音的细微韵律和情感，提供无与伦比的真实感。该模型能够在较长时段内保持自然的韵律和连贯性，适用于有声书和完整的播客。此外，VibeVoice具备 zero-shot 能力，可通过 “in-context learning” 从短音频提示合成个性化声音。 VibeVoice 定位为用于创建专业音频内容的工具，提供了 AI 语音技术的新标准，注重质量、真实感和创作自由。它基于开源基础构建，使高质量的 AI 语音技术对所有人都可获取。