All posts

Compute bound and Memory bound

之前一直对算子是compute bound or memory bound区分不清楚,今天学习了一下,记录如下。

定义:NopN_{op}为一个算子的计算量,NbyteN_{byte}为一个算子需要访问的数据量。BWcomputeBW_{compute}为硬件的计算速度,单位为FLOPS,BWmemBW_{mem}表示硬件的访存带宽,这两个指标都是硬件的固有属性,例如A100的计算带宽BWcompute=19.5TFLOPSBW_{compute} = 19.5TFLOPS , 访存带宽BWmem=1.6TB/secBW_{mem} = 1.6TB/sec .

定义计算时间 tcompute=NopBWcomputet_{compute} = \frac{N_{op}}{BW_{compute}}

访问内存时间 tmem=NbyteBWmemt_{mem} = \frac{N_{byte}}{BW_{mem}}

当tcompute>tmemt_{compute} > t_{mem} 时, 算子是compute bound, 算子性能受限于硬件的计算速率;

当tcompute<tmemt_{compute} < t_{mem} 时, 算子是memory bound, 算子性能受限于硬件的访存速率;

做一个简单变化:

NopNbyte>BWcomputeBWmem\frac{N_{op}}{N_{byte}} > \frac{BW_{compute}}{BW_{mem}} —> compute bound

NopNbyte<BWcomputeBWmem\frac{N_{op}}{N_{byte}} < \frac{BW_{compute}}{BW_{mem}} —> memory bound

在roofline模型中,NopNbyte\frac{N_{op}}{N_{byte}}称作计算强度(compute intensity)

常见的compute bound的算子:GEMM, FFT, Convolution

常见的memory bound的算子:Element-wise, relu

GEMM是计算密集(计算受限)的算子。这似乎有些反认知,因为我们写cuda时,总是在调优它的分块、预取,以提高访存命中。但调优策略与性能瓶颈并不一致。在优化GEMM时,我们很难去减少NopN_{op}(除非换矩阵乘法的算法),但能够通过cache,分块策略去减小对global memory的访问量NbyteN_{byte}

一个Native GEMM算子中,NbyteN_{byte}存在很大的优化空间,因此大多数优化都集中于此。当存储上的优化做到极致时,此时GEMM才遇到其真正的性能瓶颈(硬件计算速度)。