商汤绝影多模态大模型亮相WAIC 2024,引领智能汽车交互新纪元
今日热点网| 2024-07-24 13:34:32

2024年7月5日,为期四天的2024世界人工智能大会暨人工智能全球治理高级别会议(WAIC 2024)上,商汤绝影以其创新力量成为绝对焦点,携多款基于最新发布的“日日新5.5”原生多模态大模型的智能驾驶与智能座舱产品震撼亮相,标志着智能汽车交互技术迈入了一个全新的“以人为本”时代。

在此次WAIC 2024大会上,商汤绝影不仅展示了其可解释、高交互性的自动驾驶大模型DriveAGI,还首发了行业内首个车载生成式交互界面“随心界面”(FlexInterface)以及“随意操控”(AgentFlow)等前沿车载AI Agent应用,重新定义了人与汽车之间的交互体验。值得一提的是,商汤绝影自主研发的L4级别自动驾驶小巴也在本次大会上大放异彩,不仅成为了大会官方指定的唯一接驳车辆,还以其卓越的性能和稳定的运行,向全球展示了中国自动驾驶技术的最新成果与实力。

率先实现多模态大模型车端部署商汤绝影展示端到端智驾大模型DriveAGI

智能汽车的人机交互正在从「以车为中心」向「以人为中心」转型,而多模态大模型则是这一进程的核心驱动力。作为智能汽车的核心供应商,商汤绝影利用多模态大模型打造了真·「以人为中心」的智能汽车交互方式,加速了智能汽车交互革新进程。

商汤绝影在行业率先实现原生多模态大模型的车端部署

商汤绝影车载端侧8B多模态模型性能行业领先

在智能汽车交互领域的革新浪潮中,车端模型的高效部署能力成为了不可或缺的技术基石。商汤绝影凭借其全栈式部署策略——涵盖云侧、端云融合及纯端侧等多种模式,成功将多模态大模型灵活应用于智能汽车,实现了技术能力的快速落地。在此次WAIC 2024上,商汤绝影更是率先在行业内实现了原生多模态大模型的车端部署,并在不同算力台上展示了其适配2.1B至8B级端侧多模态大模型的卓越能力。这一成就显著缩短了数据处理延迟,尤其是车载端侧8B多模态模型的首包延迟降至300毫秒以内,推理速度高达40Tokens/秒,极大地提升了智能汽车交互的即时性与流畅性,为「以人为本」的智能驾驶体验奠定了坚实基础。

会上,商汤绝影展示了其自主研发的只搭载7个摄像头UniAD,在无高精度地图辅助的情况下,成功实现了城区复杂道路至乡村小路的全程自动驾驶演示,展现了国产端到端智能驾驶技术的强大实力与持续进化能力。UniAD是商汤及其联合实验室在2022年底提出的行业首个感知决策一体化自动驾驶通用模型,此后稳步前行,系统稳定性大幅增强,体验连续性和舒适性不断提升,持续引领国产端到端自动驾驶的创新潮流。

虽然纯粹的端到端自动驾驶模型虽已取得显著进展,但面向未来,智能汽车还需具备更高级的开放世界感知、推理、决策及交互能力。为此,商汤绝影开创性地研发了DriveAGI智驾大模型,该模型基于多模态大模型技术构建,不仅实现了国产端到端智能驾驶的可解释性与可交互性,更在复杂交通环境中展现出了卓越的自主决策与应变能力。DriveAGI能够安全穿越狭窄通道,精准识别并遵守各类交通标识,甚至在紧急情况下如救护车接近时,能迅速做出避让决策,展现了其高度的智能化水平。

DriveAGI不仅能识别救护车,还能做到主动让行执勤救护车

作为“新质生产力”的代表,多模态大模型极大地提升了国产端到端智能驾驶的训练与迭代效率。商汤绝影通过构建世界模型、交通流仿真大模型等云端大模型,形成了从场景生成、交通流仿真到真值生产、系统诊断的完整数据闭环,为端到端自动驾驶方案的持续优化与落地提供了坚实的数据保障。

发布多个车载 AI Agent商汤绝影打造多模态智能座舱

在此次WAIC 2024大会上,商汤绝影还发布了具有里程碑意义的生成式交互界面产品“随心界面”(FlexInterface)以及“随意操控”(AgentFlow)车载AI Agent系列,通过前沿AI技术彻底革新用户与汽车智能系统的交互体验。

依托强大的AI大模型能力,行业首发的FlexInterface实现了交互界面的即时生成与个性化定制。它能够深度解析用户需求,结合先进的设计框架与范式,动态调整界面风格,无论是顺应天气变化、节日氛围,还是根据用户偏好与情绪状态,都能呈现出最适宜的视觉体验。这一突破性技术让每一次出行都成为一场视觉与交互的盛宴,为用户带来前所未有的个性化享受。

而AgentFlow的发布,更是将车载智能推向了新的高度。通过模拟人类点击操作的推理能力,AgentFlow能够直接操作车载APP及外部网站,让用户仅凭自然语言指令,即可享受从简单查询到复杂任务处理的一站式服务。这种前所未有的便捷性,不仅极大地提升了操作效率,还极大地扩展了车载系统的应用场景,如自动搜索并预订看球赛的最佳酒吧位置,实现了从出行到娱乐的无缝衔接。

FlexInterface通过大模型生成的「欧洲杯」主题的车载界面

在WAIC 2024大会现场,商汤绝影通过生动的演示,展示了FlexInterface与AgentFlow的协同工作。用户轻松通过FlexInterface设定了“欧洲杯”主题,瞬间,中控屏幕便换上了充满足球激情的界面与图标;随后,AgentFlow响应指令,流畅播放起欧洲杯相关音乐,完美诠释了这两大创新产品在实际应用中的强大实力与无限潜力。

此外,商汤绝影还对传统智能汽车“哨兵模式”进行了全面升级,推出了“多模态哨兵”系统。该系统借助多模态大模型的强大能力,能够全方位、多角度地感知并应对开放道路中的各类潜在威胁,如恶意划车、喷涂车身、暴力破坏等行为,为车辆安全筑起了一道坚不可摧的防线。这一创新不仅提升了智能汽车的防护水平,更让车辆成为了用户出行中的忠诚守护者。

作为加速智能汽车迈向AGI时代的核心伙伴,商汤绝影不仅在多模态大模型技术上引领潮流,更在产品化量产方面取得了显著成果。在智能座舱领域,其多模态大模型技术已广泛应用于小米SU7等主流车型,助力翼真L380等新车打造智能化新体验。智能驾驶方面,商汤绝影的智驾产品已落地多个品牌与车型,并具备全栈智驾技术量产能力。L4自动驾驶领域,在本次大会上亮相的自动驾驶小巴成为了WAIC 2024接驳亮点,累计测试运营超300万公里。商汤绝影的硬核技术与落地能力正引领一场「以人为本」的智能汽车交互的变革,加速AGI时代的到来。


精彩推荐
热点推荐