GPU Architecture

primitive assembly unit

• guard-band clippling
  

  guard-band clippling 可以减少三角形 clipping 操作。其定义了一个比视口范围更大的范围（guard-band clip planes），只有三角形部分在视口内，部分超出 guard-band clip planes（如下图中的紫色三角形）, 才需要对该三角形进行裁剪。三角形是否在视口内的检查是通过固定精度的整数运算进行的，如果三角形离视口很远，可能导致数据溢出和检测结果错误。因此，guard-band clip planes 的范围和光栅化器使用的精度相关，对于超过该精度值的位置必须进行裁剪。
  

  
  

triangle rasterization unit

• coarse rasterization
  
  • 屏幕被划分为多个 tiles
    
  • 测试三角形和这些 tile 是否有重叠
    
    • 如果三角形没有占用 tile，就不需要判断这些 tile 内的像素是否被三角形覆盖
      

  
  上图中，屏幕被分为了 6x2 个 tile，每个 tile 中有 5x5 个像素，屏幕内有一个三角形需要被光栅化。蓝色线表示屏幕范围，橙色线表示三角形，绿色 tile 表示需要进行测试的 tile。
  

  Tips:
  

  • 小三角形会导致 coarse rasterization 瓶颈，如果一个三角形只占用了一个像素，那么 coarse rasterization 是没必要的，因为其没有剔除任何 tile。
    
  • 非常细长的三角形对于 coarse rasterization 也是不友好的，每个 tile 中，只有少量的像素是有效的。
    

  
  

• hierarchical z unit
  
  • 对 tile 进行 early rejection
    
  • 对于每个 tile (使用 LessEqual 深度比较模式)
    
    • tile 记录当前最大的 z 值
      
    • 如果三角形最小的 z 大于 tile 最大的 z, 则 reject 三角形, 否则，更新 tile 对应的 min z 和 max z
      
      • 如果三角形覆盖了整个 tile，则对 HiZ Buffer 中 minz 和 maxz 的更新可以在 HiZ 模块中直接进行
        
      • 否则，就只能是从 depth cache 中读取 tile 中每个像素的深度，得到 minz 和 maxz，将其返回给 HiZ。此时，会引入一些延迟。
        
    • hierarchical z unit 可以忽略三角形对应的整个 tile 中所有像素的 pixel shading
      
      • hierarchical z 并不能减少 pixel shading，就算没有 HiZ，应该被剔除的像素，在后续的 early z depth test 中依然会被剔除。(early z 可以减少 pixel shading，被 early z 剔除的片段，后续不会执行 pixel shading)
        
      • hierarchical z 提升了剔除像素的效率，减少了读取 depth buffer 的带宽。
        
  • 还会执行快速的 z clears
    
    • 只需要将每个 tile 的状态重置为 cleared 就可以了
      

  Tips:
  在任何地方都不会对三角形进行排序，按照三角形被提交的顺序来处理。
  HiZ buffer 存储的是低分辨率的深度值，far/near 比例越小，HiZ 就可以更多地剔除被遮挡的 tiles。
  

  
  

  
  

  • Hierarchical Z-Buffer Visibility (Hi-Z) https://blog.csdn.net/wolf96/article/details/100851090
    
  • 深度解析 AMD GPU Hierarchical Z & Early-z 被诸多限制的原因 https://www.cnblogs.com/opengpu/archive/2009/06/02/amd_gpu_architecture_depth_test.html
    
  • 深入剖析 GPU Early Z 优化 https://zhuanlan.zhihu.com/p/53092784
    
  • Real-Time Rendering 19.7.2 Hierachical Z-Buffer
    
  • Real-Time Rendering 23.7 Depth Culling,Testing,and Buffering
    
  • 为什么 Hi-Z 开启的情况下，从前到后渲染物体会更高效（深度比较模式为 LessEqual）？
    

    深度比较模式为 LessEqual 时, Hi-Z Buffer 中存储的 tile 中深度最大的值, 若当前测试的三角形的最小深度值大于 tile 中深度，则不需要为当前三角形光栅化当前 tile。
    Hi-Z Buffer 中的深度并不是实时的，其中的值是随着 depth buffer 中的更新而更新的，从前往后渲染物体，可以使得 Hi-ZBuffer 中一开始的值就是相对精确的值，这样 Hi-Z 可以为后续渲染的三角形剔除更多的 tile。
    

  • depth write on & discard 情况下，为什么 Hi-Z 依然可以生效？
    

    Hi-z 利用已有的深度值来进行剔除，Hi-Z 本身不会写入 depth buffer，因此，不会导致类似 EarlyZ 那样的逻辑冲突(EarlyZ 写入了深度，后续的 pixel shading 中剔除了像素又需要不写入深度)
    

    Tips: depth write 不同于 shader depth output(fragment 修改 depth 值)
    

  • 当深度比较模式从 LessEqual 切换为 GreaterEqual，Hi-Z 是否依然有效？
    

    Since it only stores one of the values changing the comparison direction in the middle of a frame makes the existing values in the buffer unusable. Thus HiZ will have to be disabled until the buffer is either cleared or the application changes the comparison direction back to the original. Typically the driver will configure the buffer depending on the first depth test function used after the depth buffer is cleared
    
    - From AMD depth in depth
    

    当切换了深度比较模式后，驱动会关闭 Hi-Z，直到 depth buffer 被 clear，或者深度比较模式切换为原来模式。驱动通常按照第一个深度测试函数来设置 Hi-Z buffer 记录模式(即记录最大深度还是最小深度)。
    

  • Hierachical Z 是使用低精度的 depth buffer 进行 tile 剔除 还是进行几何图元剔除？
    

    Hi-Z 使用 Hi-Z Buffer (tile 级别的深度)来对几何图元对应的 tile 进行剔除。
    

  • HiZ 如何同时支持 LessEqual 和 GreateEqual 比较模式？
    

    在 tile 中同时存储 zMin 和 zMax 可以同时支持 LessEqual 和 GreateEqual 比较模式。
    另外，同时记录 zMin 和 zMax，还可以减少 z-buffer 的读取。例如，LessEqual 模式下，记录了 zMin，如果当前被渲染的三角形确定在之前渲染三角形的前面，则基于像素的 depth testing 是不必要的(被渲染三角形在最前面，tile 内的像素都通过了 depth testing，因此不需要基于像素的 depth testing，也就不需要读取 z-buffer)。
    

• early z
  
  • 和 Hiz 类似，但是是在片段级别执行
    
  • 在计算像素颜色之前，计算像素的 depth
    
  • 如果深度测试没有通过，则不执行 pixel shading
    

  Tips:
  使用了 discard 指令的情况下，early z 是不可行的。
  

  • early z 到底什么时候失效,什么时候可用?
    

     If Early Z would be left on and the alpha test kills a fragment, the depth- and/or stencil-buffer would have been incorrectly updated for the killed fragments. Therefore, Early Z is disabled for these cases. However, if depth and stencil writes are disabled there are no updates to the depth-stencil buffer anyway, so in this case Early Z will be enabled. On the Radeon HD 2000 series, Early Z works in all cases.
    

    当 alpha test 开启，并且 depth write 开启，Early Z 会被关闭，因为，如果 early z 通过就会写入 depth buffer。当 alpha test 开启，depth write 关闭，Early Z 不会被关闭。
    

    • 深入剖析 GPU Early Z 优化 https://zhuanlan.zhihu.com/p/53092784
      
• depth compression
  
  • 当一个三角形覆盖了多个像素时，每个像素存储一个深度有些浪费。
    
  • 可以使用基于 tile 的压缩方式，存储 3 个深度来定义整个三角形平面。
    
    • 若不使用深度压缩，8x8 像素大小的 tile，存储 32 位深度，需要占用 8*8*4Byte = 256Byte 空间
      
    • 若使用深度压缩，在最好的情况下(1 个三角形完全覆盖一整个 tile), 需要占用 3*4Byte = 12Byte 空间
      
    • 若使用深度压缩，当一个 tile 中包含 21 个三角形时，需要占用 21*3*4Byte = 252Byte 空间，此时和不压缩所占用空间差不多。
      

  Tips:
  

  • 对于大的三角形，depth compression 极大减小了内存带宽。三角形越小，一个 Tile 中所包含的三角形可能越多，depth compression 效果越弱。
    
  • 和 HiZ 一样，记录 tile 状态的额外信息(是否被压缩，是否被 cleared)被存储在 on-chip buffer 上。这是一种有限的资源，如果没有足够空间来放置某些 tile 的 Z compression tile state，这些 tile 的 Z compression 就会关闭。
    
  • Z compression 并不会减少 video memory 中存储 depth buffer 所需要的内存总量。其只是减少了带宽，你依然需要分配足够大的 depth buffer，因为可能所有 tile 都是不压缩状态。
    
  • 对于支持 depth compression 的 gpu 每一帧都执行 z clear，可以有效减低读取 depth buffer 的带宽。（tile 标记为 cleared 状态时，不需要读取 depth buffer）
    
  • fast z clear
    

    使用 depth compression 就可以开启 Fast z clear 特性。不需要直接将 depth clear value 写入到 depth buffer，只需要为所有 tile 设置 cleared 状态就可以了。这极大减小了 clearing depth buffer 的消耗，使其变为一个便宜的操作。
    

quads

texture unit

CU simd

CU scalar unit

CU branch unit

LDS

GDS

IMR

# immediately rendering
for draw in renderPass:
    for primitive in draw:
        for vertex in primitive:
            execute_vertex_shader(vertex)
        if primitive not culled:
            for fragment in primitive:
                execute_fragment_shader(fragment)

TBR

# tile based rendering
# Pass one
for draw in renderPass:
    for primitive in draw:
        for vertex in primitive:
            execute_vertex_shader(vertex)
        if primitive not culled:
            append_tile_list(primitive)

# Pass two
for tile in renderPass:
    for primitive in tile:
        for fragment in primitive:
            execute_fragment_shader(fragment)

• TBR 的带宽优势
  

  Tile 只占整个 framebuffer 的一小部分。 因此，可以将整个颜色、深度和模板的工作集存储在快速的 on-chip RAM 上，与 GPU 着色器核心紧密耦合。GPU 用于深度测试和混合透明像素所需的 framebuffer 数据无需访问外部内存即可获得，通过减少 GPU 对通用 framebuffer 操作所需的外部内存访问数量，可以显著提高像素密集型内容的能源效率。此外，多数情况下会存在一个深度和模板缓冲，它们是瞬态的，只需要在着色过程中存在。如果明确告诉 GPU 驱动程序不需要保存 Attachment，那么驱动程序就不会将它们写回主存。
  

  以下图形 API 可以指示驱动程序丢弃 Attachment：
  

  • OpenGL ES 2.0：glDiscardFramebufferEXT
    
  • OpenGL ES 3.0：glInvalidateFramebuffer
    
  • Vulkan：恰当的 render pass storeOp 设置
    

  TBR 架构下，使得更多的带宽优化成为可能。因为只需要 tile 渲染完成后才将颜色数据写回内存，此时颜色数据是最终的状态。因此，可以通过“循环冗余校验”(CRC) 校验将图块的内容与主存储器中已有的当前数据进行比较。执行一个被称为“事务消除”的过程，如果颜色没有变化，此过程会跳过将 tile 写入外部存储器的操作。在许多情况下，事务消除对性能没有帮助，因为片段着色器仍必须构建图块内容。但是，该过程在许多常见用例（例如 UI 渲染和休闲游戏）中大大降低了外部内存带宽。因此，降低了系统功耗。
  

  Mali GPU 还可以使用称为“Arm 帧缓冲区压缩”(AFBC) 的无损压缩方案来压缩 tile 的颜色数据，从而进一步降低带宽和功耗。请注意，AFBC 适用于渲染到纹理。窗口表面的压缩则需要 display controller(显示控制器) 启用 AFBC。帧缓冲区压缩因此可以多次节省带宽；从 GPU 写出时可以压缩，每次读取帧缓冲区也可以压缩。
  

• TBR 的算法优势
  

  TBR 使得一些算法变得可行。在 IMR 架构下，这些算法要么是计算量太大要么是带宽消耗太多。
  

  一个 tile 足够小，以至于 Mali GPU 可以在本地内存中存储足够的样本以支持 MSAA。 硬件可以在 tile 回写到外部存储器期间将多个样本 Resolve 为单个像素颜色，而无需单独的 Resolve 过程。 Mali 架构在执行抗锯齿时允许非常低的性能开销和带宽成本。
  

  一些高级技术（例如延迟光照）可以在片段着色器中以编程方式访问由先前片段存储在帧缓冲区中的值（FrameBuffer Fetch）。而，传统算法则需要使用 MRT 来实现延迟光照，第一个 Pass 将每个像素的多个中间值写回主内存，然后在第二个 Pass 中重新读取它们。
  

  TBR 可以启用较低带宽模式，可以直接从 tile 内存共享每个像素的中间数据，而 GPU 仅将最终执行了光照计算的像素写回内存。延迟着色 G-Buffer 可以使用四个 1080p 32bpp 的中间纹理，这种方式可以在 60 FPS 下节省高达 4GB/s 的带宽。
  

  使用以下扩展在 OpenGL ES 中开启此功能：
  

  • ARM_shader_framebuffer_fetch
    
  • ARM_shader_framebuffer_fetch_depth_stencil
    
  • EXT_shader_pixel_local_storage
    

  在 Vulkan 中，使用 mergeable subpasses 时允许访问此功能。
  

  值得一提的是，由于每个 Tile 的尺寸通常不会很大，使得 GPU 计算单元访问单个 Tile 内的数据具有良好的邻域性，能够提升 Cache 命中率。
  

• TBR 缺点
  

  TBR 机制的主要额外开销在 geometry pass 到 fragment pass 切换的地方。GPU 必须将 geometry pass 的输出（每个顶点的 varing data 以及 tiler 中间状态）存储到主存储器，fragment pass 随后会读取这些数据。因此，需要在与几何相关的额外带宽成本和帧缓冲区数据的带宽节省之间取得平衡。
  同样重要的是要考虑到某些渲染操作，例如曲面细分，对于 TBR 架构来说这些操作是不成比例的昂贵。曲面细分等操作的设计利用了 IMR 模式架构的优势，爆炸的几何数据可以在 on-chip FIFO 缓冲区内，而不是被写回主存储器。
  

TBDR