释放边缘AI潜力：创新与实践

释放边缘AI潜力：创新与实践

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， Qualcomm AI Hub， Edge Ai Capabilities， On-Device Development， Model Fine-Tuning， Developer Journey， Qualcomm Ai Hub， Automotive Use Cases， Contextual Awareness， Data-Driven Pipeline， Industry-Specific Toolchains， Cloud-Edge Integration]

导读

Edge AI正在通过将AI处理从云端转移到数据生成的地方来革新各行各业，实现实时决策、减少延迟并增强数据隐私。这个闪电演讲探讨了在边缘部署AI模型的优势和挑战，并从物联网、PC、汽车、XR和移动垂直领域的真实用例中获取洞见。了解高通的开发者优先方法、最新进展和未来路线图。加入我们，理解为什么边缘AI是一个游戏规则改变者，以及在这个快速发展的领域接下来会发生什么。本演讲由亚马逊云科技合作伙伴高通技术公司为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华。

在人工智能快速发展的领域中，一场范式转移正在进行，将人工智能的处理从云端转移到边缘设备本身。这种被称为“边缘人工智能”的范式转移正在彻底改变人工智能的运作方式，实现实时决策、减少延迟、提高能效并增强数据隐私和安全性。高通公司作为异构计算平台的先驱，为各种边缘设备提供动力，从移动电话和物联网设备到汽车平台等，正处于这场革命的前沿。

高通汽车部门的资深成员Sriram Palgat阐述了高通在释放边缘人工智能潜力方面的关键作用。高通的尖端技术不仅局限于消费类设备，还支持大规模工业物联网应用，这些应用需要先进的人工智能功能。例如，在中东的一家大型公司Aramco，高通在其设备上运行先进的人工智能，支持现场安全、资产维护和工人安全等多种用例。在现场安全方面，用户可以用设备对准问题，并接收传入设备的上下文支持信息，实现远程上下文支持。如果发生火灾，无人机可以在收到警报后立即部署进行检查。在工人安全方面，如果车间发生事故，设备会捕捉到并通知相关人员。

Palgat强调，现代人工智能模型已经发展成为庞大的模型，支持大量参数和模态，包括视觉、文本、语音、激光雷达、雷达和温度等。高通以其卓越的每瓦特性能而闻名的异构计算平台，已成为跨物联网、汽车、移动电话、计算平台和扩展现实(XR/VR)应用等多个行业的默认设备人工智能平台。

随着边缘人工智能的采用不断加速，开发人员面临着为特定硬件平台(如高通的Snapdragon设备)微调模型的独特挑战。为了应对这一挑战，高通推出了Qualcomm AI Hub，这是一个旨在简化开发人员体验的革命性平台。通过Qualcomm AI Hub，开发人员可以注册、选择现有模型或自带模型、选择目标平台(物联网、汽车等)和运行时(如Qualcomm AI Runtime或其他)。他们可以在特定设备上测试和验证模型、自动部署到服务器，甚至自带数据进行测试和微调。

在Qualcomm AI Hub中，开发人员的旅程无缝且全面。他们可以自带数据和模型、选择设备和运行时、转换和优化模型、获取物理设备进行测试、分析和微调模型，并下载优化后的模型用于设备人工智能开发。更令人惊叹的是，这个过程可以无缝集成到CI/CD管道中，简化了开发生命周期。Qualcomm AI Hub拥有不断扩展的模型制造商、人工智能框架和服务合作伙伴生态系统，已有超过一千家客户在其开发管道中使用该平台。这个蓬勃发展的生态系统彰显了该平台的多功能性和行业广泛采用。

在一项突破性的合作中，高通和亚马逊云科技携手合作，使开发人员能够使用SageMaker构建模型，然后无缝地在Qualcomm AI Hub上测试、量化、微调和部署这些模型。这种集成弥合了云端开发和设备部署之间的鸿沟，让开发人员能够在统一的工作流中利用这两个平台的强大功能。

Palgat深入探讨了一个先进的汽车用例，强调了先进驾驶系统中不断增强的情境感知能力。现代汽车不仅需要了解天气和道路类型等外部条件，还需要了解乘客偏好、驾驶风格和语音命令等内部因素。这些情境线索正在被整合到驾驶行为中，而高通正处于为客户实现这种尖端用例的前沿。在这种情况下，微调模型的开发者之旅是复杂多方面的。它涉及以影子模式部署模型、收集边缘案例数据(如雨天行人过马路)、在SageMaker上训练和微调模型，然后将它们带到Qualcomm AI Hub进行设备特定优化，并重新部署到汽车中。

Palgat阐述了这一用例的数据驱动管道，其中汽车检测到的边缘案例或异常会被整合到云端，进行场景挖掘、数据丰富和自动标注等高级人工智能技术处理。然后，数据通过深度学习管道，涉及Qualcomm AI Hub进行设备量化、使用云端Qualcomm SoC进行位精确测试，以及高级分析来评估模型性能。

高通在边缘人工智能方面的实力不仅体现在汽车应用，还涵盖物联网、工业人工智能和XR/AR平台等多个垂直领域。该公司不仅提供边缘人工智能计算能力，还为这些行业的开发人员提供了整个工具链，实现边缘人工智能解决方案的无缝开发和部署。

在人工智能快速发展的格局中，高通已将自身定位为领先的边缘设备平台，提供先进的工具链和面向开发人员的云端框架。通过不懈的创新和与亚马逊云科技等行业领导者的合作，高通正为边缘人工智能的广泛采用铺平道路，让开发人员能够创建利用这一变革性技术全部潜力的尖端应用。已有超过一千家客户将Qualcomm AI Hub集成到其开发管道中，高通的解决方案经过了充分的验证和测试，巩固了其在该领域的领导地位。

下面是一些演讲现场的精彩瞬间：

高通在边缘AI领域的创新正在改变AI的处理方式，实现实时决策、减少延迟、提高能效并增强数据隐私和安全性。

通过与智能眼镜和语音控制汽车系统的智能交互，体验边缘AI在日常生活中的强大功能。

高通AI中心允许开发人员选择模型、目标平台、运行时，并测试其模型在特定设备上的性能，从而实现无缝部署到服务器。

亚马逊云科技和高通宣布建立合作伙伴关系，将SageMaker和高通AI中心无缝集成，使开发人员能够轻松地从云端构建、训练、量化和部署模型到设备。

演讲者解释了如何收集各种场景(如雨天行人过马路)的数据，使用SageMaker进行处理，并通过高通AI中心将微调后的模型部署到汽车设备，从而提高自动驾驶能力。

展示了一个数据驱动的流程，集成来自汽车的边缘数据，利用云AI进行数据挖掘和丰富，自动化注释和模型训练，并实现位精确测试和高级分析。

总结

当前，全球正见证着向边缘AI转型的变革性转变，AI处理正从云端转移到边缘设备本身。这一转变使实时决策成为可能，降低了延迟，提高了能源效率，并加强了数据隐私和安全性。作为异构计算平台的领导者，Qualcomm正处于这场革命的前沿，为物联网、汽车、移动设备等多个行业的边缘AI提供动力。

Qualcomm的AI Hub简化了开发者的工作流程，提供了一个无缝平台，用于针对特定硬件微调AI模型、优化性能并部署设备上的AI应用程序。开发者可以利用现有模型，引入自己的模型和数据，并与Amazon SageMaker等云平台无缝集成。这种端到端的流程线将模型训练到设备部署的过程简化了，从而实现了快速迭代和创新。

在汽车行业，Qualcomm正在实现先进的情境感知能力，将外部环境因素与内部乘客偏好和驾驶风格相结合。这项尖端技术涉及数据驱动的流程，捕获边缘案例、注释数据、利用云资源训练模型，并使用Qualcomm AI Hub针对特定汽车硬件进行微调。这种先进的用例体现了Qualcomm致力于为各行业的开发者提供全面的边缘AI解决方案。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。