PersonaPlex：NVIDIA 的全双工实时语音对话模型

2次阅读

共计 1109 个字符，预计需要花费 3 分钟才能阅读完成。

PersonaPlex 是 NVIDIA 发布的一款实时语音对话模型，定位在“边听边说”的全双工（full-duplex）语音交互。它基于 Kyutai 的 Moshi 架构与权重，能够在流式语音理解的同时生成语音响应，处理打断（barge-in）、反向通道（backchannel）和自然轮流发言等场景。

关键亮点

全双工语音对话：输入语音持续流入，模型一边更新理解、一边输出语音。
角色与声音可控：通过文本角色提示（persona prompt）和语音提示（voice prompt）控制说话风格和声音特征。
7B 参数规模：官方模型为 7B 参数，可在本地 GPU 环境运行。
低延迟自然对话：支持重叠、打断和快速轮换的口语对话体验。

模型机制概览

PersonaPlex 对连续音频进行神经编解码，将输入语音增量编码后送入模型，同时自回归地预测文本与音频 token，再解码成输出语音。它采用双流（listening/speaking）配置，使“听”和“说”并行发生，从而更接近人类对话节奏。

训练与数据

官方说明该模型结合了合成对话与真实对话数据训练，并引入 Fisher English 语料用于自然对话场景。PersonaPlex 在 Moshi 的基础上微调，同时借助底层 LLM 的泛化能力，能覆盖更多开放式对话主题。

快速上手（本地运行）

以下命令来自官方仓库示例：

# 克隆仓库后安装依赖
pip install moshi/.

# 接受 Hugging Face 模型许可并配置 Token
export HF_TOKEN=<YOUR_HUGGINGFACE_TOKEN>

# 启动本地 Web UI 服务
SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"

默认在本地访问 localhost:8998，即可体验实时语音对话。