高通侯纪磊：全栈AI优化打造抢先边际功能

　　集微网报导（文/张轶群）7月6日，2023国际人工智能大会——芯片主题论坛在上海举行。会上，高通全球副总裁兼高通AI研讨负责人侯纪磊博士做了题为《全栈AI优化 打造抢先的边际AI功能》的讲演，介绍了终端AI的重要性和优势，高通在终端AI方面特别是生成AI方面的开展，以及关于混合AI在高效推进AI规划化落地等方面的观点。

　　现在，虽然许多AI的练习和推理仍在云端进行，但终端侧的人工智能正变得越来越至关重要。经过在最靠近数据源头之处处理数据，并同云端构成互补，往往能够带来在隐私、可靠性、低时延、本钱、能耗、个性化等方面的明显优势。

　　“比方在本钱方面，生成式AI一般参数体量巨大，假如在端侧布置，能够推进本钱的明显下降。而在AI数字帮手方面，手机、驾舱、PC等运用场景，端侧AI则能够很好地满意私密性、个性化的需求。”侯纪磊说。

　　据侯纪磊介绍，早在十几年前，高通便开端了AI方面的研制，其间一个重要研讨方向便是高效能AI，在包含硬件、算法和软件等层面进行了许多的研制立异。

　　在高效硬件方面，经过对高通移动渠道中CPU、GPU、NPU等不同单元进行优化，终究使得针对不同使命，能够挑选适宜的核算模块运转，侯纪磊以为这是高通端侧AI十分明显的特色。在算法层面，高通具有一支顶尖的深度神经网络算法团队，有许多原创性的研讨成果。在软件方面，在面向深度学习的软件加快runtime以及SDK/开发结构方面，高通关于客户以及开发者都做出了很好的支撑。

　　“因而，高通AI研讨的一个十分重要的准则，便是全栈式的AI立异和优化。经过跨层的模型、硬件和软件立异加快AI使用，这种前期研制和技能发明关于引领生态体系开展至关重要，而终究将技能供给给商业团队，并经过布置过程中的收成来影响未来的研讨，构成正向循环。”侯纪磊说。

　　据侯纪磊介绍，高通在高效能AI研制中，一个重要的部分是全体模型功率研讨，意图是在多个方向减缩AI模型，使其在硬件上高效运转。

　　比方在量化方面，学习在坚持所需精度的一起下降比特精度；在条件核算方面，学习仅根据输入履行大模型图例模型部分组件；在神经网络架构查找方面，学习规划更小的神经网络，能够在实在硬件上比美或超越人工规划架构；在编译方面，学习编译AI模型以完成高效的硬件履行等。

　　“在量化方面，高通一向在业界进行无论是从学术研讨仍是落地层面的推进。包含Stable Diffusion和ChatGPT等终究要在端侧完成，量化必定是十分重要的手法。在高效能的推理方面，整数的点运算是十分重要的方向。在这方面，高通在活跃推进相关学术研讨，包含在尖端学术会议上的发布一些论文的一起，也会定时放到开源的工具包AIMET中。经过抢先的AI研讨和快速商业化，推进职业向整数推理和高能效AI方向开展。”侯纪磊说。

　　侯纪磊还要点提及了高通在2020年的一项研讨成果——AdaRound量化研讨算法，包含许多先进的理念和技能。

　　“高通能够将Stable Diffusion引进端侧，AdaRound便是其间一个十分重要的量化手法。此外，在大言语模型来到4bit时，包含GPTQ等干流技能，实际上也是根据AdaRound演进的简化。所以在量化方面，不管是学界仍是业界，高通都处于十分前沿的方位。”候纪磊说。

　　在今天开幕的2023 国际人工智能大会（WAIC）上，第二代骁龙8移动渠道的高通AI引擎荣获此次大会的尖端奖项：SAIL奖——杰出人工智能引领者奖。

　　第二代骁龙8凭仗面向整个渠道的开创性AI智能规划赋能了特殊用户体会，树立了网联核算的新标杆。其搭载高通技能公司处理速度最快、最先进的高通 AI 引擎，经过软硬件的一系列立异，相较上一代带来4.35倍的AI功能提高和60%的能效提高，然后为越来越多的立异型AI用例和AI增强的用户体会供给强壮的功能根底。

　　高通 AI 引擎由多个硬件和软件组件组成，用于在骁龙移动渠道上为终端侧 AI 推理加快。它选用异构核算架构，包含高通 Hexagon 处理器、Adreno GPU、Kryo CPU 和传感器中枢，一起支撑在终端上快速而有用的运转 AI 使用程序。其要害中心 Hexagon 处理器具有一系列立异，如供给专用供电体系、支撑微切片推理、INT4精度、Transformer 网络加快等，可结合高通 AI 软件栈和 AI Studio 供给全栈 AI 才能和优化手法，在职业界率先在终端侧支撑 Stable Diffusion、ControlNet 等生成式 AI 用例，并可与云端协同打造习惯大模型年代的混合 AI 处理结构，然后助力AI体会立异和生态昌盛。

　　此外，侯纪磊介绍了AI在5G方面的使用。在本年的国际移动通讯大会（MWC）上，高通发布了骁龙X75调制解调器及射频体系，引进了第二代高通5G AI套件，包含专用张量加快器。一起，据侯纪磊介绍，高通AI团队也与无线团队一向坚持十分严密的深化协作，然后能够确保将研讨成果更快面向商用。比方经过AI技能进行毫米波波束办理，扩毫米波通讯的掩盖规划；经过AI辅佐GPS定位，提高定位的精准度等。

　　“现在，高通现已构成了在边际侧的布局和规划化的优势。搭载骁龙和高通渠道的用户终端数量现已到达数十亿台。每年有数亿台搭载骁龙和高通渠道的终端进入市场。咱们的AI才能赋能一系列广泛的产品，包含手机、轿车、XR、PC和物联网设备。”侯纪磊说。

　　上一年年末，由ChatGPT引发的生成式AI浪潮席卷全球，而在生成式AI方面，高通于数年前便开端着手布局。

　　侯纪磊以为，生成式AI将影响各类终端上的使用场景。比方XR方面，根据简略提示，发明沉溺式的3D虚拟国际；轿车方面，具有先进驾驭辅佐体系/自动驾驭，经过猜测不同行为主体的轨道和行为，协助改善驾驭战略；在手机方面，成为真实的数字帮手；在PC端，经过编撰电子邮件，创立演示文稿和编写代码，革新生产力；在物联网方面，有助于提高顾客和职工体会，比方供给库存和商铺货架摆放引荐等。

　　本年的MWC上，高通的第二代骁龙8移动渠道现已能够支撑参数超越10亿的AI模型运转，并进行了全球初次端侧运转超越10亿参数模型的演示。关于端侧能够有用支撑的模型规划，侯纪磊以为，在广泛的用例中有许多根据10亿参数为单位，从10亿到100亿便能够包含适当大都的生成式AI，并能够供给十分好的效果。据侯纪磊介绍，未来几个月内，高通有望支撑参数超越 100 亿的模型在终端侧运转，下一年将能够支撑参数超越200亿的模型。此外经过全栈式的AI优化，未来也将进一步缩短大模型的推理时刻。

　　侯纪磊指出，云经济难以支撑生成式AI的规划化开展。如根据传统办法和生成式AI的网络查找，单次查询本钱将是传统的10倍，假如再叠加很多的生成式AI使用以及数十亿的用户基数，这将在云端带来明显的担负。因而，推进端侧和云端互补的混合AI，将是未来推进生成式AI落地的明显趋势。

　　“未来场景中有中心云、边际云、有终端侧，AI处理中心在必定程度上能够向边际开展，因而混合AI是未来能够支撑生成式AI、大言语模型等完成全球化、规划化开展的重要手法。这个过程中，在包含无线连接、高效核算、分布式AI等方面，高通都能够经过与业界的协作带来更多立异。”侯纪磊说。

　　侯纪磊指出，关于混合AI的布置，当终端侧具有强壮生成式AI才能的时分，能够作为一个“锚点”。比方协助工程师生成代码，高通的愿景是未来一两年内，在100-200亿参数的规划内，能够使得许多工程师在端侧进行代码编撰。端侧AI作为智能“锚点”发挥指挥或和谐的效果，能够将合格的代码交给开发者，不抱负的生成代码指令再交给云端进一步处理，然后带给用户无缝体会。

　　“终端侧AI具有许多优势，是让AI无处不在的要害。混合AI是AI的未来，而咱们的终端侧AI领导力将支撑生成式AI规划化扩展。”侯纪磊最终着重。回来搜狐，检查更多