kyzoroX

誰もがAIのボトルネックは計算能力だと考えている。次のボトルネックはメモリである。NVIDIA H100は約4 PFLOPSのFP8計算能力と3.35 TB/sのHBM帯域幅を提供する。...

誰もがAIのボトルネックは計算能力だと考えている。次のボトルネックはメモリである。NVIDIA H100は約4 PFLOPSのFP8計算能力と3.35 TB/sのHBM帯域幅を提供する。Groqは全く異なるアプローチを取った：500 MBのオンチップSRAMと150 TB/sのメモリ帯域幅である。