之前一直对算子是compute bound or memory bound区分不清楚,今天学习了一下,记录如下。
定义:Nop为一个算子的计算量,Nbyte为一个算子需要访问的数据量。BWcompute为硬件的计算速度,单位为FLOPS,BWmem表示硬件的访存带宽,这两个指标都是硬件的固有属性,例如A100的计算带宽BWcompute=19.5TFLOPS , 访存带宽BWmem=1.6TB/sec .
定义计算时间 tcompute=BWcomputeNop
访问内存时间 tmem=BWmemNbyte
当tcompute>tmem 时, 算子是compute bound, 算子性能受限于硬件的计算速率;
当tcompute<tmem 时, 算子是memory bound, 算子性能受限于硬件的访存速率;
做一个简单变化:
NbyteNop>BWmemBWcompute —> compute bound
NbyteNop<BWmemBWcompute —> memory bound
在roofline模型中,NbyteNop称作计算强度(compute intensity)
常见的compute bound的算子:GEMM, FFT, Convolution
常见的memory bound的算子:Element-wise, relu
GEMM是计算密集(计算受限)的算子。这似乎有些反认知,因为我们写cuda时,总是在调优它的分块、预取,以提高访存命中。但调优策略与性能瓶颈并不一致。在优化GEMM时,我们很难去减少Nop(除非换矩阵乘法的算法),但能够通过cache,分块策略去减小对global memory的访问量Nbyte
一个Native GEMM算子中,Nbyte存在很大的优化空间,因此大多数优化都集中于此。当存储上的优化做到极致时,此时GEMM才遇到其真正的性能瓶颈(硬件计算速度)。