BittWare GroqCard™アクセラレータ

BittWare GroqCard™ アクセラレータは、簡単に統合できるように開発されたダブルワイドPCIeフォームファクタのMLアクセラレータです。GroqWare™ スイートには、ソフトウェア定義のハードウェアアプローチが実装されており、焦電、TensorFlow、ONNXトレーニング済のディープラーニングモデルを対象とした簡単な展開パスが可能です。BittWare GroqCard アクセラレータは、9つのリアルスケール™ チップ対チップ接続によるスケーラビリティが特徴で、1つとして複数のカードの展開が保証されます。さらに、内部ソフトウェア定義ネットワークは、ラン・ツー・ランの変動がなく、予測可能な反復可能性能を実現しています。GroqCard は、SMCAS-4124GS-TNRおよび DellR750xaでの使用目的が認証されています。HPE DL385 Gen 10 Plusはテストされていますが、サーバーインターオペのフルエクササイズは完了していませんでした。さらに、液体は、シャーシ内のグロックカードと最大16枚のグロカードの認定も受けています。他のサーバーモデルでのグロックカードの使用は、ユーザーのリスクにさらされます。

GroqChip™プロセッサ

完全に決定論的なGroqChipプロセッサは、スケーラブルなパフォーマンスの中核となるものです。AI、ML、HPCワークロードを加速するためにゼロから作り上げたGroqChipは、ボトルネックのない予測可能な低レイテンシー性能をのためにデータ移動を削減します。このスタンドアロンチップは、コンピュート集約型アプリケーションへの柔軟な統合を実現します。GPUよりはるかにシンプルなアーキテクチャアーキテクチャで、ソフトウェアファーストにこだわって設計されているため、プログラミングがしやすく、低レイテンシーで予測可能な性能を提供します。

GroqWare™スイート

GroqWare Suiteは、さまざまなHPCおよびMLワークロードを加速するために設計された、包括的で汎用性の高いソフトウェアスタックです。Groq™ Compiler、Groq API、Utilitiesで構成されるこのスイートは、オープンソースのドライバ/ランタイムと業界標準のAI/MLフレームワークのサポートにより、導入の実装を容易にします。GroqWare Suiteに含まれるGroqFlow™ツールチェーンは、PyTorchまたはTensorFlowの単一行のコードで既存のモデルをインポートし、変換し、完全自動化されたツールチェーンでGroqハードウェア上で実行できるようにします。

特徴

  • 完全な決定論プロセッサ - 実行ごとのバラエーションがなく、予測可能で繰り返し可能なパフォーマンスを提供します。
  • エンドツーエンドのオンチップ保護 - GroqChip™データパス全体にわたるエラー訂正コード(ECC)保護により、アップタイムと信頼性が向上します。
  • 230MBのオンダイメモリ - 大容量で世界的に共有可能なSRAMがモデルパラメータへの高帯域幅で低レイテンシーなアクセスを実現し、外部メモリの必要性を排除
  • 9つのRealScaleチップ間コネクター - 外部スイッチ不要で、複数のサーバーとラックにわたるほぼ直線的なスケーラビリティを実現
  • 最大80TBのオンダイメモリバンド幅 - 帯域幅に敏感なアプリケーション向けの大規模並列処理とデータ並列処理をサポート
  • PCIe Gen4 x16 インターフェイス - 最大31.5GB/sの双方向帯域幅を提供し、高速なデバイスとネットワーク接続に適した業界標準のインターフェイス

アプリケーション

  • 金融関係
  • 科学と政府
  • 生成AI
  • 産業/電力
  • 石油とガス

仕様

  • デュアル幅、フル高さ、3/4長PCI Express Gen4 x16アダプタフォームファクタ
  • 最大750トップ、188 TFLOPs (INT8、FP16 @ 900MHz) の性能
  • メモリ
    • 230MBのSRAM(1チップあたり)
    • 最大80TB/sのオンダイメモリ帯域幅
  • 最大9xのリアルスケールチップ対チップコネクタのチップスケーリング
  •  Numerics
    • INT8、INT16、INT32、TruePoint™テクノロジー
    • MXM: FP32
    • VXM: FP16、FP32
  • パワー
    • 最大:375W
    • TDP:275W
    • 標準:240W

ビデオ

GroqChipの概要

ブロック図 - BittWare GroqCard™アクセラレータ
公開: 2023-11-09 | 更新済み: 2024-11-25