Arm tech symposia 2024

2024/11/7

未来に向けたAIコンピュート・プラットフォームの構築へ

2025 年末までには、世界で1,000 億台を超えるAI 対応のArm 搭載デバイスが登場し、そのすべては、Arm のパートナーエコシステムが擁する卓越したリーダー企業各社によって実現されます。一方、この大きなチャンスには、私たちが一丸となって乗り越えなければならない新たな課題も伴います。AI をあらゆる場所で提供するには、消費電力と演算にまつわるかつてないレベルの複雑さが生じるため、既存のすべてを見直す必要があります。これらの課題を解決し、アイデアをいち早く形にして市場投入するためには、電力効率、最適化されたソフトウェア、統合ソリューションがシームレスに組み合わされたプラットフォームが必要となります。この講演では、Arm プラットフォームを支えるテクノロジー、ソリューションや、それがもたらす機会について解説し、どのように未来のAI コンピュート・プラットフォームを共に構築していくかを展望します。 さらに、本セッションの締めくくりには、株式会社本田技術研究所 常務執行役員の小川厚氏をスペシャルゲストに迎え、Dipti Vachaniとの対談形式で、同社での取り組みについてお話しを伺うコーナーも設けられます。

  • AI 30% inc in reg, 13% developer audience, 40% inc OEMs
  • datacenter ドイツ一国、2030 インド全土
  • arm neoverse css compute subsysetm
    • arm neoverse css
    • Arm css client
    • https://www.arm.com/ja/products/neoverse-compute-subsystems
    • 13か月で稼働
  • AI
    • aiの加速: armv9, sve2, sme(scalabel matrix ext.)
    • kleidi AI: クライディ
      • https://www.arm.com/ja/products/development-tools/embedded-and-software/kleidi-libraries
    • SOAFEE
      • 車載のプラットフォーム
      • https://www.soafee.io/
      • 140社、34 workload (densor astem tier4), up to2 (shiftleft)
    • arm total design
      • chiplet の開発
      • https://www.arm.com/ja/markets/computing-infrastructure/arm-total-design

Arm & パートナー対談セッション: AI時代における新たな戦略と機会

富士通株式会社より富士通研究所 先端技術開発本部 エグゼクティブディレクターである吉田 利雄氏、パナソニック オートモーティブシステムズ株式会社より開発本部 プラットフォーム開発センター 所次長の中尾 象二郎氏をゲストに迎え、アーム株式会社 横山 崇幸との対談形式でお届けします。 本セッションでは、Armとパートナーとの対談を通じて、AIをはじめとする先端テクノロジーに対する各社の取り組みと、それがもたらす新たな可能性について読み解きます。

  • PAS 戦略的パートナーシップを締結したらしい

    • https://news.panasonic.com/jp/press/jn241107-3

    • SDV (software designed vehicle) における車の標準化

    • デバイス仮想化インタフェースの標準化

      • virtio を車載かする、標準か

    • virio を使ったデジタルツイン、virtual skip gen (vSkipGen)

      • Arm® Neoverse™ベースのクラウドサーバー上で動作
      • iot 化する感じかな
      • https://docs.kernel.org/driver-api/virtio/virtio.html

    • unified HMI

      • 仮想ディスプレイでコックピット向けのディスプレイ
      • 複数の ECU アプリケーションが任意の場所に表示する
      • display zone architecture, 分散処理をする cetral computerの負荷分散

    • edege ai

      • realtime, seurity 処理を エッジ側で行いたい

  • Fujitu monaka 次世代HPCプロセッサ

    • https://www.fujitsu.com/global/imagesgig5/FUJITSU-MONAKA.pdf
    • key tech: performance, power consumption, security
    • oss が不可欠
      • proprietary -> oss base, india に開発チーム
    • x3 low power consumption
    • cost down: processor 2nm + cache 5nm, 3d 積層させる

我が国の半導体政策

半導体は、デジタル化や脱炭素化の実現に不可欠なキーテクノロジーである。さらに、経済安全保障の観点からも重要な、日本の産業競争力全体を左右する戦略物資であり、今後世界で大きく増加していく需要を我が国が取り込んでいく必要があると考えている。 世界各国では、半導体製造能力の確保に向け、かつては考えられなかった規模の巨額の政府資金を半導体産業につぎ込む、いわば産業政策の国際競争時代に突入している。 我が国としても、半導体に対して強力な支援をしており、台湾のTSMCと連携した熊本における先端ロジック半導体の工場建設や、米国IBMと連携した最先端半導体の量産を目指すラピダス・プロジェクトをはじめとする世界のトッププレーヤーと連携した複数の大規模投資プロジェクトを実現してきた。 こうした取り組みを通じ、これまで我が国に欠けていた半導体技術に関するミッシングピースを埋め、産業全体のサプライチェーン強靭化につなげるだけでなく、関連産業への大きな波及効果、投資・賃上げの好循環も確実に生まれつつある。経済産業省として、こうした流れを今後も継続・加速させていく。

  • 半導体政策
    • 安定供給の確保
    • 今後１０年で５０⇒１５０兆円に倍増する
    • AI など電力消費が増えることを想定して持続可能性を確保する

様々なAIワークロードをArmで実現するCPUパフォーマンスのアーキテクチャー B

  • sme2 scalable matrix ext.
    • 2022
    • improving ai compute
    • ZA register
    • reduceing memory bandwith – lookup table
    • compression int 8 matrix multiplication
    • 8 a73, 32 a77 2018 ,64 a710 2020,96 a715 2021,1024 armv9 2022
  • sve2 scalable vector ext and neon
    • improving ai compute
    • reduceing memory bandwith – lookup table
    • vectyor length agnostic(VLA) for HPC
      • compiler が
      • per lane prediction
      • predice driven loop control
      • gathre load saccter store
      • speculate vectorzation
      • ML extentions
  • 2bi/4bit dequantiation with LUTI
  • kleidi
    • ai accelaration
    • open source, openaiなどと連携しているので、すぐに使える

モバイルとコンシューマー機器におけるAIの現在と未来 B

  • cloud or device?
    • how mauch compute is erquierd
    • necessity of use case
    • privacy req -> 重要ならプライベート、ローカルで処理するべき
    • network access
    • latency req ->
    • cost
  • LLM on mobile cpu
    • memory bandwith
    • programmiability
    • security -> 専用IPで処理するのでセキュア, trustzone で守ってくれる
    • ubiquity ->
    • face, video calling, body tracking, karoke
  • next gen
    • image gen for dynamic content customization
    • realtime translation
    • ai companion, tiwh multimodal intelligence
    • custom routines for home automation
  • Kleidi
    • LLama 3.2 1b -> executorch -> xnnpack -> arm kleidiai
    • 25%~30% のパフォーマンス改善
    • sppech transcription (whisper) -> llm (llama) -> speech gen(piper)
    • kleidi AI, kleidi CV
  • ext の利点
    • cpu のエクステンションだから実装が簡単
    • cpu の ext だから latency が小さい
  • challenges (課題)
    • ethics/bias
    • copyright infringement
    • disnformation/deep fake
    • presnal data protection
    • criminality
    • environmental considerations,
  • future
    • full multimodal
    • advanced personalization
    • disrupting industries
    • progressing linguistic competece to actual thinking

Armテクノロジで進化：最先端のArmテクノロジを採用し幅広くAI/MLソリューションを実現するルネサスのMPU/MCU製品 C

  • AIoT: IoT+5G+AI
    • 分散型インテリジェンス
      • リアルタイム応答: エンドポイントでデータ変換
      • セキュリティ、データプライバシー: root of trust
      • ネットワークアジリティ:
  • (RZ, RA,) RH850, RX, RL78
    • arm が ()
  • RZ
    • ハイエンド MPU 製品
    • RZ/A, G(graphic), N(network), T(realtime), V(ai accelarator)
    • RZ/V2H 80tops (DRP-AI3), A55, R8, DRP(opencv), M33 産業向け、ロボット
    • DRP offload engine -> slam が動くらしい
  • RA
    • アドバンスド 32bitMCU, cortexMのj
    • RA8: M85 w/ Helium MVE -> CM7 x4の DSP, AI/ML 能力
      • tensorflow light helium 未使用 x1.13, helium 仕様 x2.23
    • 480Mhz,
    • RSIP-E51A 暗号エンジン, DSA/SPA sidechannel protection
    • Helium SIMD, load, mac のパイプライン処理

Armv9への移行に向けて：次世代のパフォーマンスと機能 D

  • MLPerf
    • arm serer ubuntu 20.04
    • python3 pip, opencv-python-headless, cython, pycotools, pybind11
    • mlperf common
      • mlcommons/inference.git mlperf_inference
      • tensorflow, tensorflo-io を入れておく
    • oneDNN corss-platform performane lib
    • resnet50-v1.5,
    • generate fake image
    • launch benchmark command
  • pytorch profiler
    • torch torchvision,

エッジAI: Linaro と ONELab によるセキュアでコンプライアンスに準拠したデバイスの構築 D

  • Linaro 200名, 1/3 linux mainter, tf-a, optee 1/5, 180名がエンジニア、半数以上はARM出身
    • linux kernel 6.3 のメンテなの一番に
  • arm systemready
    • SystemReady device tree (Systemready DT)
    • https://www.arm.com/ja/architecture/system-architectures/systemready-certification-program
    • BSA, BBR の要件を満たすことで準拠とする
  • onelab
    • 来年3月に正式ローンチ予定
    • 継続的コンプライアンス準拠
    • https://www.linaro.org/solutions/onelab/
    • ハードウェアのコンプライアンス準拠、複数のＯＳに対応、テスト、ワークロード
      • The Linaro Automation Appliance (LAA)
      • https://www.linaro.org/blog/onelab-launch-at-linaro-connect-madrid-2024/
    • arm

エッジIoTデバイスにおけるAIと生成AIのユースケースの解明 C