科大讯飞飞鱼2.0汽车智能交互系统

1、案例名称

科大讯飞飞鱼2.0汽车智能交互系统

2、参评单位

上海科大讯飞信息科技有限公司

3、案例简介

飞鱼2.0是科大讯飞基于飞鱼1.0系统全新推出的新一代人工智能交互系统，它融合了 Barge-in全双工语音交互技术，窄波束定向识别技术，自然语义理解技术，免唤醒技术，多轮对话技术等科大讯飞核心技术，为用户打造一个高颜值、能听、会看，具有联机思考和联机学习的能力，懂人，懂车，懂环境的智能系统。同时，以AI为基础，打通车内信息娱乐服务，并以账户为基础实现多场景交互体验。为用户提供更智能、个性化的服务。

4、案例解决行业痛点

飞鱼2.0在语音交互体验优化上应用更多先进技术。其中，飞鱼对话引擎是面向车厂定制的跨平台的软件产品，以全闭环的语音核心能力，为汽车配备一个聪慧的耳朵和口齿伶俐的嘴巴。应用麦克风阵列降噪技术，有效过滤汽车行驶时的胎噪，风噪，空调噪声等，给汽车安装了一个灵敏的耳朵，听得更清楚，让用户和汽车沟通不受环境限制。为避免多人对话中误操作的问题，科大讯飞应用行业领先的窄波束技术，波束宽度30°，让汽车灵敏的耳朵只听你发号施令。

科大讯飞一流的免唤醒和长时交互技术，让用户的每次沟通无需再打招呼，同时让汽车的耳朵可以明辨是非，知道哪些内容是和他们相关的，准确过滤掉无关内容，准确响应，让语音交互更顺畅。同时提供基于长时记忆的上下文语音交互，用户说的每一句话，汽车耳朵都听得很认真，统统记下来，记得很准。从此可以很好的深入彼此，让语音交互更准确。

业界一流的声纹认证技术，让汽车准确识别车主声音，并主动转换至“我的电台”，“我的收藏”，“我的公司”等定制化服务，让驾驶更有乐趣。

科大讯飞一流的中英文语音识别，以及涵盖中文20+种方言识别，同时，基于全球领先的语音合成技术，科大讯飞是全球唯一英文合成自然度超过4分，中文语音合成度达到4.5分的公司。合成音频的自然度和清晰度已经超过了普通人的朗读水平，并提供中英粤等多语种、川豫等多方言、男女声多风格的选择，音量、语速、音高等参数也支持动态调整——定制专属的语音合成。

5、案例应用范围

飞鱼2.0系统，将上下文理解、多轮对话、主动交互、声纹识别、声源定位、窄波束等核心技术集成，从听觉到视觉，满足人们对未来汽车智能化的期待。

飞鱼对话引擎是面向车厂定制的跨平台的软件产品，以全闭环的语音核心能力，为汽车配备一个聪慧的耳朵和口齿伶俐的嘴巴。窄波束技术，波束宽度30°，让汽车灵敏的耳朵只听你发号施令。免唤醒和长时交互技术，让用户的每次沟通无需再打招呼，同时让汽车的耳朵可以明辨是非。

飞鱼2.0将懂人的理念聚焦到用户能够感知到的功能上，通过声纹、人脸等识别技术，汽车能认识人，通过账户同步了解用户习惯，主动为用户推荐用户感兴趣的产品。飞鱼2.0的智能说明书、汽车智能问答，通过整合全面的汽车手册、保养知识、交通规则等，基于阅读理解技术构建说明书和汽车知识知识库，让用户可以快速了解车的各个功能，精准获取任何想知道的汽车知识。

在懂人、懂车这些个性化服务的背后，离不开强大的数据支撑。飞鱼数据工场的设计初衷是构建汽车数据的应用场景以及数据分析能力。随着车内以及车外各类采集数据的手段以及汽车网联化的发展，汽车正在产生越来越多的数据，同时这些数据也在更加实时地进行传输。而汽车的数据并没有在行业内得到有效的利用，没有为车企以及用户产生足够的价值。飞鱼数据工场，能让企业通过数据和用户建立直接的服务渠道和反馈渠道，让车企和用户产生直接交互，更高效，反馈更及时。

飞鱼数据工场上层是基于汽车数据的各类应用，例如关键数据的Dashboard，基于汽车数据的保养方案等等。而飞鱼数据工场最终要给行业提供的是汽车数据的分析能力，我们希望能够通过飞鱼数据工场，让我们的OEM、供应商以及内容和服务提供商都可以快速集成汽车数据的分析能力，基于汽车数据来给用户提供更多更全面的服务。基于飞鱼数据工场，飞鱼2.0也能提供更加精准、个性化、人性化的服务。

对于传统的车内电子系统构架，信息娱乐系统在以前并不具备视觉接入和处理的能力，但人与车的直接交互又恰恰是通过这一模块实现的。所以，飞鱼智盒从360环视入手，主要是基于两个原因：第一，倒车是用户的痛点，也是目前市场上产品缺乏人性化解决方案的一个环节；第二，环视对整个系统的硬件改动最大，完成了这一改造升级，我们后续基于同一套硬件平台配置可以实现更多的功能。

6、案例应用场景

飞鱼2.0系统 为车主提供在复杂的行车环境中通讯、导航，收听多媒体娱乐信息，车身控制和信息查询等服务，用高拟人化、高识别度的语音输入控制协助用户，提供更为便捷的驾驶体验。飞鱼2.0系统从智能语音技术支持下的“能听会说”的能力到今年最新应用的机器视觉技术支持下的“察言观色”的能力，以及基于飞鱼AIUI技术支持下的“能理解会思考”的能力，打造“更懂车、更懂你、更互联”的人工智能交互系统。

7、案例核心优势

飞鱼2.0系统基于科大讯飞全球领先的智能语音及人工智能技术，为汽车装上能听会说，能理解会思考的“汽车大脑”。2.0系统从听觉到视觉方面的技术应用极大推动了汽车智能化的进程。飞鱼AIUI是飞鱼2.0系统的大脑，通过应用人工智能集大成技术，深度打通汽车本地服务及互联网在线内容服务，为用户带来极致的驾车体验。飞鱼对话引擎是飞鱼2.0系统灵敏的耳朵，将最新的语音核心技术，结合智能汽车业务多年积累的场景对话设计逻辑，集成“云+端”的对话引擎，随时听候用户召唤。“飞鱼智盒”是飞鱼2.0系统的眼睛，将业界领先的高清环视系统与车机深度融合，提升用户体验，使硬件平台性能发挥到极致。飞鱼数据工场是飞鱼2.0系统的运行的保障，基于讯飞强大的数据平台和数据分析能力，从数据收集、数据分析、业务挖掘，将行业信息链条导通，通过数据分析的方法为客户连接用户，提升效率，创造新的价值。

8、案例实施成果

飞鱼2.0系统是飞鱼1.0系统的全面升级，更是一个飞跃。它利用语音智能和人工智能技术，连接汽车与科技，引领智能出行全新方式，让智能与出行的合体、科技和汽车的合体。在上半场，飞鱼1.0已为累计超过1000万部车辆提供了语音交互解决方案，越来越多人开始夸赞语音系统的便利性和安全性，可用、易用、好用。在下半场，飞鱼2.0将结合语音和视觉，并深度融合人工智能技术，将打造面向未来的汽车智能交互系统，创造极致用户体验。

9、案例社会价值及影响力

科大讯飞从克服车内高噪语音交互环境开始，将智能语音及人工智能技术应用于汽车领域，至今降噪技术、唤醒技术、语音打断技术、离线听写、POI搜索、模拟发音人合成音库等等多项技术的突破和迭代为汽车行业带来多次变革和创新，凭借这些突破，讯飞始终保持在行业内的绝对领先性优势，助力更多中国汽车品牌从汽车智能化的水平上略胜一筹。近日，飞鱼系统2.0被机器之心评为全球三十大最佳 AI 应用案例。

10、案例未来规划

本着“更懂车、更懂你、更互联”的产品初心，飞鱼2.0系统将从理解人、理解环境两个维度进行提升。从理解人的维度，通过了解学习用户的偏好、行为特征、并结合状态检测、动作识别等技术，为车主提供有温度的情感和信息助手；从理解环境的维度，根据技术产品化的成熟度和产业成熟度从辅助驾驶技术，用心打磨真正让用户感觉到好用、易用的产品。