4月16日消息，上海交通大学听觉认知与计算声学实验室推出纯学术界自研的支持多人实时口语对话的语音情感大模型“交交”，它不仅是一个智能语音助手，更是一个多说话人、多语言、多角色、多情感的全能对话伙伴。当前，该模型已经开启内测申请。

　　据介绍，“交交”可用于教育辅导、家庭互动、商务沟通、客服支持、娱乐陪伴等。

　　（“交交”对话界面）

　　根据介绍， “交交”，除了在对话上下文内容上的强大理解和知识问答能力，还同时具备多人对话与身份辨识，多语种和方言感知，角色切换与实时模仿，情感实时理解和表达等多项能力。这在目前已知发布的语音对话大模型中，尚属首次。

　　实时对话采用了端到端语音对话，还有基于上下文信息，用思维链技术生成符合对话场景的情感全局表征，用在生动的情感语音回复生成。可以用于客服支持。

　　多人对话很像一个家庭聚会，或者开会的场景， “交交”能针对不同的人给出不同的回应。这采用了实时音色克隆技术。

　　“交交”支持汉语、英语、日语和法语四大主流语言，具备跨语言回复能力。

　　“交交”还具备角色扮演与情感互动，根据对话内容和场景理解用户情绪，生成富有情感的回应。

　　知识问答方面，涵盖广泛的知识领域，如古诗词背诵、科学原理讲解、文学名著解读等。这可用于家庭辅导，辅助教学。

　　根据介绍，“交交”可灵活拓展，具备对齐策略，支持文本与音频模态的任意方式拼接融合，为集成大规模文本大模型中的多种增强机制(如联网搜索、RAG检索增强生成等)提供统一且可扩展的接口。