BittWare GroqCard™アクセラレータ
BittWare GroqCard™ アクセラレータは、簡単に統合できるように開発されたダブルワイドPCIeフォームファクタのMLアクセラレータです。GroqWare™ スイートには、ソフトウェア定義のハードウェアアプローチが実装されており、焦電、TensorFlow、ONNXトレーニング済のディープラーニングモデルを対象とした簡単な展開パスが可能です。BittWare GroqCard アクセラレータは、9つのリアルスケール™ チップ対チップ接続によるスケーラビリティが特徴で、1つとして複数のカードの展開が保証されます。さらに、内部ソフトウェア定義ネットワークは、ラン・ツー・ランの変動がなく、予測可能な反復可能性能を実現しています。GroqCard は、SMCAS-4124GS-TNRおよび DellR750xaでの使用目的が認証されています。HPE DL385 Gen 10 Plusはテストされていますが、サーバーインターオペのフルエクササイズは完了していませんでした。さらに、液体は、シャーシ内のグロックカードと最大16枚のグロカードの認定も受けています。他のサーバーモデルでのグロックカードの使用は、ユーザーのリスクにさらされます。GroqChip™プロセッサ
完全に決定論的なGroqChipプロセッサは、スケーラブルなパフォーマンスの中核となるものです。AI、ML、HPCワークロードを加速するためにゼロから作り上げたGroqChipは、ボトルネックのない予測可能な低レイテンシー性能をのためにデータ移動を削減します。このスタンドアロンチップは、コンピュート集約型アプリケーションへの柔軟な統合を実現します。GPUよりはるかにシンプルなアーキテクチャアーキテクチャで、ソフトウェアファーストにこだわって設計されているため、プログラミングがしやすく、低レイテンシーで予測可能な性能を提供します。
GroqWare™スイート
GroqWare Suiteは、さまざまなHPCおよびMLワークロードを加速するために設計された、包括的で汎用性の高いソフトウェアスタックです。Groq™ Compiler、Groq API、Utilitiesで構成されるこのスイートは、オープンソースのドライバ/ランタイムと業界標準のAI/MLフレームワークのサポートにより、導入の実装を容易にします。GroqWare Suiteに含まれるGroqFlow™ツールチェーンは、PyTorchまたはTensorFlowの単一行のコードで既存のモデルをインポートし、変換し、完全自動化されたツールチェーンでGroqハードウェア上で実行できるようにします。
特徴
- 完全な決定論プロセッサ - 実行ごとのバラエーションがなく、予測可能で繰り返し可能なパフォーマンスを提供します。
- エンドツーエンドのオンチップ保護 - GroqChip™データパス全体にわたるエラー訂正コード(ECC)保護により、アップタイムと信頼性が向上します。
- 230MBのオンダイメモリ - 大容量で世界的に共有可能なSRAMがモデルパラメータへの高帯域幅で低レイテンシーなアクセスを実現し、外部メモリの必要性を排除
- 9つのRealScaleチップ間コネクター - 外部スイッチ不要で、複数のサーバーとラックにわたるほぼ直線的なスケーラビリティを実現
- 最大80TBのオンダイメモリバンド幅 - 帯域幅に敏感なアプリケーション向けの大規模並列処理とデータ並列処理をサポート
- PCIe Gen4 x16 インターフェイス - 最大31.5GB/sの双方向帯域幅を提供し、高速なデバイスとネットワーク接続に適した業界標準のインターフェイス
アプリケーション
- 金融関係
- 科学と政府
- 生成AI
- 産業/電力
- 石油とガス
仕様
- デュアル幅、フル高さ、3/4長PCI Express Gen4 x16アダプタフォームファクタ
- 最大750トップ、188 TFLOPs (INT8、FP16 @ 900MHz) の性能
- メモリ
- 230MBのSRAM(1チップあたり)
- 最大80TB/sのオンダイメモリ帯域幅
- 最大9xのリアルスケールチップ対チップコネクタのチップスケーリング
- Numerics
- INT8、INT16、INT32、TruePoint™テクノロジー
- MXM: FP32
- VXM: FP16、FP32
- パワー
- 最大:375W
- TDP:275W
- 標準:240W
ビデオ
GroqChipの概要
公開: 2023-11-09
| 更新済み: 2024-11-25
