跳到正文
掘金· 八月蝉·· 9 小时前精选AI 评分37

推理 INFRA 方法论(0):Roofline 用算力与带宽建立性能预算

推理 INFRA 方法论(0):Roofline:用算力与带宽建立性能预算

AI 导读

作者在掘金上系统阐述 Roofline 方法论,用算力 F(FLOP/s)和带宽 BW(Byte/s)建立推理性能预算,帮助判断 GEMM 与 Attention 的瓶颈。

来源:掘金 · juejin.cn