阿里通义实验室 Wan-Streamer v0.2 模型发布:AI 实时交互迈向新高度

   时间:2026-07-17 19:05 来源:天脉网作者:朱天宇

阿里通义实验室近日宣布推出全新升级的Wan-Streamer v0.2模型,这款面向实时双工交互的端到端全模态理解与生成系统,通过将听觉、视觉和语言处理整合进单一Transformer架构,实现了AI交互方式的重大突破。该模型不仅支持文本、音频、视频的同步理解与生成,更以550毫秒的端到端延迟(含网络传输)达到行业领先水平,较传统语音对话模型响应速度提升近一倍。

技术架构方面,研发团队创新性地采用"快慢分工"的并行计算模式。核心处理单元Thinker部署在单张GPU上,负责流式音视频感知、上下文记忆更新等延迟敏感任务,确保200毫秒内的极速响应;而高分辨率视频生成则交由多GPU集群构成的Performer模块处理,通过Ulysses序列并行机制将计算任务切分,实现640×368分辨率下的25帧/秒流畅输出。这种时序重叠设计使视觉渲染与交互处理并行进行,在保持总延迟550毫秒的同时,将画面细节提升到可清晰呈现肢体语言和场景布局的新维度。

相较于前代版本,v0.2模型在视觉表现上实现质的飞跃。输出分辨率从192×336提升至640×368,不仅突破了近景特写的局限,更能完整呈现虚拟角色的视线方向、身体姿态和手势动作。实验室测试显示,在模拟厨房教学场景中,AI导师能通过画面"观察"学员操作,结合语音指导实时纠正动作;在沉浸式游戏场景里,NPC可展现自然的微表情变化,与玩家进行眼神交流般的深度互动。

该模型的核心优势在于其原生流式处理能力。通过引入160毫秒为周期的流式单元,系统无需等待用户完整表述即可持续进行"感知-理解-生成-解码"的闭环处理。这种设计使AI能同步捕捉语音中的情感起伏和面部微表情变化,在对话中展现符合语境的肢体反应。例如当用户讨论历史话题时,虚拟角色会自然地调整坐姿并配合手势讲述;在辅导儿童作业时,则会通过身体前倾等动作传递关注态度。

应用场景方面,Wan-Streamer v0.2已展现出广泛潜力。在无障碍辅助领域,系统可为听障用户生成带精确唇形的视频回应,视障用户则能通过语音描述实时感知周围环境;教育行业可开发具备表情反馈的AI教师,根据学生困惑程度动态调整讲解方式;娱乐产业则能创造具有真实肢体语言的虚拟偶像,实现真正意义上的面对面互动演出。实验室负责人表示,该技术将首先在口语训练、心理辅导等需要强在场感的场景落地,后续逐步拓展至更多垂直领域。

 
 
更多>同类内容
全站最新
热门内容