協助任何地方的開發人員順利加速人工智慧

Arm 持續努力在 Arm CPU 提升 PyTorch 的推論效能，包括提供 Eager Mode 及 Graph Mode 等最佳化的主要執行模式。

整合 Kleidi 使得 Llama 模型推論效能提升 18 倍、Gemma 2 2B 提升 15 倍，而自然語言處理 (NLP) 模型也達到更高效能，包括 Bert-Large 提升 2.2 倍效能。

AWS 與 Arm 合作最佳化 PyTorch 的 torch.compile 功能，用於搭載 Arm 運算函式庫 (ACL) 核心 (使用 oneDNN) 的 Neoverse V1 架構 Graviton3 處理器。

這項最佳化讓 Hugging Face 最熱門的 NLP 模型推論效能提升 2 倍。

Stability AI 與 Arm 合作加速裝置內生成式人工智慧，無需網際網路連線便能發揮即時音訊產生能力。

Stable Audio Open 目前透過模型蒸餾及運用 Arm KleidiAI，在 Arm 架構智慧型手機上提供比以往快達 30 倍的文字轉音訊速度，使用者只需要幾秒鐘就能在邊緣產生高品質的音效。

Arcee AI Virtuoso-Lite 模型具備 4 位元量化功能，於 llama.cpp 執行，每秒提供 40 個 token，可在企業環境中執行 SLM 的 4.5 倍成本效能優勢。這是使用 Arm Kleidi 技術開機即用最佳化的原因。

SLM 與 Meta 合作，運用具備 4 位元量化功能的 KleidiAI，達到與更大的 Llama 3.1 405B 模型類似的效能。在採用 Arm Neoverse 技術的 Google Axion 處理器上部署時，效能均為每秒 50 個 token。

TinyStories 是一個資料集，包含一般 3 歲兒童可能理解的詞彙。可用於訓練及評估 1,000 萬參數以下的小型模型。在 Arm Cortex-A320 CPU 上執行 TinyStories，提升超過 70% 的效能。

ONNX Runtime 是業界最廣泛使用的開放原始碼框架之一，適用於行動裝置、桌上型電腦及雲端的生成式人工智慧部署。

Arm 與 Microsoft 合作將 KleidiAI 整合至 ONNX Runtime，使用 Phi-3 Mini 3.8B 模型，在 Windows 及 Android 加速高達 2.6 倍的人工智慧推論。

MNN 是由阿里巴巴開發的開放原始碼深度學習框架。我們的合作關係協助提升裝置內多模態使用場景的效能與效率。

如多語言指令調校 Qwen2-VL 2B 模型所示，整合 Kleidi 與 MNN 可提升 57% 的預先填入效能及 28% 的解碼速度。

Arm 與 Google AI Edge 合作的 MediaPipe 及 XNNPACK，可在目前及未來的 Arm CPU 加速人工智慧工作負載，協助開發人員使用 Gemma 及 Falcon 等眾多 LLM，為行動裝置、網際網路、邊緣及物聯網提供出色的人工智慧效能。

由於 Kleidi 透過 XNNPACK 與 MediaPipe 整合，在 Arm 架構高階智慧型手機的 Gemma 1 2B LLM 上執行聊天機器人示範時，TTFT 可加速 30%。