Skin Rendering

• 皮肤结构 http://www.leo-pharma.cn/Home/Dermatology/general_knowledge/Skin_Structure.aspx
  
• 皮肤的结构-表皮 http://www.truebuty.com/scstructure.html
  
• https://opentextbc.ca/anatomyandphysiology/chapter/5-1-layers-of-the-skin/
  

• Advanced Techniques for Realistic Real-Time Skin Rendering https://developer.nvidia.com/gpugems/GPUGems3/gpugems3_ch14.html
  
• 角色渲染技术——皮肤 https://zhuanlan.zhihu.com/p/27014447
  
• GPU Gems 3 真实感皮肤渲染技术总结 https://zhuanlan.zhihu.com/p/42433792
  

我们没有通过收集渲染位置处所有方向的入射光来实现次表面散射。而是探索预积分皮肤中的次表面散射效果。
只有三件事情会引入可见的散射：

1. 模型曲率的变化
   
2. normal map 中的突起
   
3. 遮挡光导致的阴影
   

nDotL 是主要导致入射光变化的原因，其使得散射变得明显。
我们考虑通过球谐光照模拟所有方向上的光，以此来预计算表面上任意一点的散射光效果。但是球谐方式只能高效地表示低频率变化的光，对于高频变化的光需要很多系数。因此，我们放弃了预计算散射效果，而选择预计算表面形状子集的散射衰减，并在渲染时确定最好的衰减.
我们在运行时可以计算表面的曲率，其最大程度决定了光滑表面的散射效果。
为了测量曲面上的散射，我们添加了曲率作为第二个参数。我们简单从一个方向照射给定曲率的球面，并测量各个角度上累计的光照。
下图为散射光公式推导：

当前模型假设所有的皮肤和球相似，但是皮肤可以为任意拓扑结构。换句话说，当前模型假设给定点的散射由该点自身的曲率决定，而事实上是由该点周围所有点的曲率决定。因此，该模型在平滑的表面上(曲率变化不大的表面上)效果可以，但是曲率变化比较大时，就不适用了。幸运的是，大多数皮肤模型都有两层：使用几何表示光滑的表面，使用 normal map 表示表面细节。

• 如何简明地解释曲率（curvature）？ https://www.zhihu.com/question/25952605
  

皮肤上小的皱纹、毛孔通常通过 normal map 来表示。因为小折痕的法线总是要回到表面主法线方向，从小折痕反射的散射光和折痕更宽的不散射表面反射的光看起来很像。因此可以通过模糊 normal 来近似皱纹、毛孔等小褶皱照成的散射。对于不同波长的光，diffusion profiles 不同，模糊 normal 的方式也不同。

从实际的物体抓取 normal 贴图时，发现 normal 会向表面法线偏转，而且不同波长的光偏转程度不同，红光比绿光偏转程度大。还观察到使用多个波长的光抓取的多个 normal 进行渲染要比使用单个 normal 效果要好。
我们的做法为，假定原始的 normal map 是精确的表面法线，对其进行 blur 而得到每个波长对应的 normal。因此，不能为了得到更光滑的效果，而直接提供 blur 过的 normal map 做原始的 normal map，否则再对其进行 blur 得到的每个波长的 normal 将不正确。
使用 diffusion profile 直接对 normal map 进行 blur 是不可行的，因为光照对于表面法线不是线性过程。需要使用 LEAN 或 CLEAN。

值得注意的是，在法线贴图的过滤区域内，阴影/入射光/散射光项为常数时，使用非归一化的 normal 是一个可行的近似，此时我们有如下关系式：

上面关系式不是总成立的，因为 diffuse lighting 包含一个自阴影项 max(0, N.L)来取代上式中的 N.L。尽管如此，当法线过滤区域内都没阴影或都有阴影时，使用非归一化的法线依然是正确的。

我们开发了一种近似的方法，其只用一张包含 mipmap 的法线贴图。使用该优化方法时，specular normal 的采样依然不变，但同时使用另一个采样器采样高一级的 mipmap 得到 red normal。然后将 specular normal 和 red normal 变换到 tangent 空间，对他们进行混合得到 green 和 blue normal。最后的 diffuse-lighting 计算需要执行三次（red-diffuse blue-diffuse green-diffuse）。

如果法线贴图只包含很小的细节，甚至可以使用几何法线来代替 red normal。

光散射到阴影是真实感皮肤的重要特性之一。使用一点小技巧就可以预计算阴影边界上的散射效果。

我们可以将阴影映射算法当作一个衰减函数。当衰减为完全黑或完全白，对应着完全遮挡和完全不遮挡。我们可以重新设置完全黑和完全白之间的值。特别地，如果我们确定我们的阴影过滤器创建的半影尺寸足够容纳大部分的 diffusion profile，我们可以缩小原始半影的尺寸，多出来的尺寸用于基于 diffusion profile 的散射。

为了计算精确的衰减，我们将阴影半影和 diffusion profile 进行预积分。我们将阴影半影 P()定义为一个一维衰减函数，该函数来自于使用阴影贴图映射的 blur kernel 对硬阴影边界的过滤。假定阴影映射的 kernel 为单调递减的，则对应的衰减函数也是单调递减，这样就可以对阴影半影 P()求反函数 \(P^{-1}()\) 。这样就可以通过给定的阴影值获得对应的半影中的位置。例如，如果阴影映射为 BoxFilter，则阴影半影函数 P()就是一个线性的斜坡，此时对应的反函数 \(P^{-1}()\) 也是一个线性的斜坡。

我们假定了阴影是投射在一个平面上的，如果表面倾斜度很大，半影尺寸将比我们预计算时使用的值大很多。因此，我们为阴影衰减贴图增加了第二个维度，其表示世界空间中的半影尺寸。最后，我们生成阴影 LUT 的公式如下：

半影宽度可以通过表面和对应光源的夹角得到，或者直接对阴影值进行求导。
当半影被拉升映射到倾斜度很高的表面时，此时提供的散射衰减空间更大。可以对半影宽度值进行截取，以保证其在 LUT 贴图范围内。

1. 将皮肤次表面散射系数转化为 SH 系数
   
2. 计算 SH 环境光时，用 LightSH 系数*ScatterSH 系数就得到此表面散射后的环境光
   

原理如下推导：

Tips：计算间接光照的 diffuse 部分时，会传入当前顶点的世界坐标系下的法线 wNormal，需要将 S(θ,r)的+z 方向和 wNormal 对齐。也就是上图中给 Rl 乘了一个变换系数得到了 Rl‘。

• http://simonstechblog.blogspot.com/2015/02/pre-integrated-skin-shading.html
  

• https://blog.selfshadow.com/publications/s2013-shading-course/#course_content
  
• http://grephicsnerd.blogspot.com/2017/06/skin-shading-model.html
  

// normal 为顶点法线光栅化插值的结果 (低频法线)
float3 RefractionNoL = saturate(0.6 + dot(normal, light.dir));
// attenuation 为mainLight的阴影项
float3 RefractionIrradiance = light.color * thickness * _SSSColor * RefractionNoL * RefractionNoL * attenuation;

./SkinRendering/005_clx_refract.ggb

• 2009 http://www.iryoku.com/sssss/
  
• 2010 http://iryoku.com/translucency/
  
• 2015 https://github.com/iryoku/separable-sss
  

1. 对于很多物体，我们可以对当前点的法线取反来近似背面点的法线。当正面和背面平行时，该近似是准确的。
   
2. 从背面照亮物体，我们从正面看时，观察者无法获得背面辐射照度的准确信息。
   
3. 材质的自由程很小或者几何体适度的厚时（例如：皮肤），透射是非常低频的现象。这是因为光经过物体内部时被散射，将光的大多数高频信息给消去了。
   
4. 对于人类皮肤，在表面上 albedo 不会有非常明显的变化，其维持在相似的皮肤色调上。
   

1. 对正面法线取反来近似背面法线。 (基于观察 1)
   
2. 利用某种启发式方法我们可以预测背面的 Irradiance，并且很难注意到预测结果和真实结果的不同。 (基于观察 2)
   
3. 我们可以使用正面的 albedo 近似计算背面的 irradiance。（基于观察 2，4）
   即使我们使用高频法线来计算背面的 Irradiance，我们依然得到的是低频的透射光，因此我们假设可以使用低频法线得到近似的结果。我们使用顶点法线来计算背面的 Irradiance，而不是 normal map 中存储的法线，这样就可以舍去 Irradiance 的高频部分。此时，背面的 Irradiance 变化非常小，因此可以取单个值来近似整个卷积。(基于假设 3)
   

尽管使用取反的 Normal 来计算透射率避免了双重贡献（相对于两次都使用不取反 Normal 进行计算）。但是，使用取反 Normal 导致反射照亮区域和只受透射照亮的区域之间的过度不平滑。在过度区域，N.L 和 -N.L 都为 0。为了避免突然的照明变化，我们通过下面方式扩大透射照亮的区域：

float distance(float3 posW, float3 normalW, int i)
{
    // Shrink the position to avoid artifacts on the silhouette:
    posW = posW - 0.005 * normalW;

    // Transform to light space:
    float4 posL = mul(float4(posW, 1.0), lights[i].viewproj);

    // Fetch depth from the shadow map:
    // (Depth from shadow maps is expected to be linear)
    float d1 = shwmaps[i].Sample(sampler, posL.xy / posL.w);
    float d2 = posL.z;

    // Calculate the difference:
    return abs(d1 - d2);
}
float3 T(float s)
{
    return float3(0.233, 0.455, 0.649) * exp(-s*s/0.0064) +
    float3(0.1, 0.336, 0.344) * exp(-s*s/0.0484) +
    float3(0.118, 0.198, 0.0) * exp(-s*s/0.187) +
    float3(0.113, 0.007, 0.007) * exp(-s*s/0.567) +
    float3(0.358, 0.004, 0.0) * exp(-s*s/1.99) +
    float3(0.078, 0.0, 0.0) * exp(-s*s/7.41);
}
float s = scale * distance(pos, Nvertex, i);
float E = max(0.3 + dot(-Nvertex, L), 0.0);
float3 transmittance = T(s) * lights[i].color * attenuation * albedo.rgb * E;
// We add the contribution of this light
M += transmittance + reflectance;

• 2009 http://www.iryoku.com/sssss/
  
• 2010 http://iryoku.com/translucency/
  
• 2015 https://github.com/iryoku/separable-sss
  

• 2009 http://www.iryoku.com/sssss/
  
• 2010 http://iryoku.com/translucency/
  
• 2015 https://github.com/iryoku/separable-sss
  

• Gaussian 卷积核是可分的，因此比其他卷积核效率高（需要采样的数量比较少）。
  但是，只有在一个平面上才可分。
  
• Bilateral filtering 使得卷积变为假的的可分(pseudo-separabel)。
  只是结果看起来可以，但并不完全正确。
  
• 两个 Gaussian 混合得到的函数显然是不可分的。只能执行 4 个 Pass 来实现。
  为两个 Gaussian 卷积核执行 4 个 Pass 在实践上消耗还是太高了
  

下图展示了不同方法对 MC 结果逼近程度的比较：

单个高斯函数的能够相对准确地近似多次散射，但即使是两个高斯函数的混合也难以准确表示单次和多次散射的组合。在上图中，可以看到白色表示参考结果，红色表示双高斯近似。

• 混合的高斯对艺术家来说太不友好了。
  高斯只是个数学概念。
  艺术家被强制只能使用测量数据或人眼拟合确定的数据。
  调节参数有 7 个自由度，太多了
  有很多参数的组合是没有意义的
  

通过实现高斯混合模型，我们遇到了另一个问题 - 它并不适合艺术家使用。高斯函数只是一个数学概念，在 SSS 的背景下没有物理意义。当你有两个高斯函数和一个 lerp 参数时，这就是 7 个自由度，如何设置它们使得最终的组合有意义并不是很清楚。值得注意的是，熟练的艺术家仍然可以通过高斯混合模型获得出色的结果。但是，这可能是一个冗长复杂的过程，不适合 Unity。

• Burley's Normalized Diffusion Model 也被称为 “Disney SSS” （A.k.a: also known as）
  
• 该模型对 MC 数据拟合非常好
  
• 该模型考虑了参与介质中的单次和多次散射
  

我们实现了 Burley 的归一化扩散模型，我们称之为 Disney SSS。它能够准确地匹配使用蒙特卡洛模拟获得的参考数据。因此，自然地，它能够同时考虑单次和多次散射。
关于单次散射和多次散射，可以参考下图（该图来自 ./AtmosphericScattering.html#orga025a62 ）理解：

下图展示了该模型函数图像和对应的画面效果：

该模型只有两个参数：体积反照率 A 和形状参数 s。两个参数都可以被解释为颜色。形状参数与散射距离成反比，这也是我们在用户界面中暴露的参数。
如果我们观察结果曲线，就会发现两件事情：

1. 尖峰和长尾无法用单个高斯函数来建模。
   
2. 最终的滤波器明显是不可分离的。
   

该 diffusion profile 是归一化的，可以直接用作概率密度函数（简称 PDF）。对于蒙特卡洛积分来说，这是一个很有用的特性，我们稍后会看到。

漫反射 BRDF 是散射距离在像素的范围内时近似版本的 SSS。这意味着两种着色模型在一定距离后应该具有相同的视觉效果。为了实现这一点，我们使用 Disney 漫反射 BRDF 的公式来定义在电介质边界处的漫反射传输行为（diffuse transmision）。虽然它不完全匹配 GGX 模型定义的传输行为，但仍然比假设 Lambert 分布要好。

我们不对镜面传输（specular transmission）进行建模，因此我们的模型不能应用于低反照率材质，如玻璃。

注意：
传输（transmission）可能是一个令人困惑的术语。镜面传输是指在光滑电介质界面上的菲涅尔反射。而漫反射传输则是指通过粗糙电介质界面的传输，并且通常假设存在大量的多次散射。通常，这就是 Lambert 项。

为了保证视觉一致性，我们直接使用表面反照率作为体积反照率。我们提供了两种反照率纹理的选项：

1. Post-scatter texturing （后散射纹理）应该在反照率纹理已经包含一些由于 SSS 而导致的颜色渗透时使用。这种情况适用于扫描和照片。在这种模式下，我们只在出射位置应用反照率一次。
   
2. PrePost-scatter texturing(前后散射纹理)会有效地模糊反照率，这可能会导致更柔和、更自然的外观，这在某些情况下是可取的。
   

下图展示了这两种方式的对比：

你可能会注意到，后散射选项在保留细节方面做得更好，这是预期的结果。差异很微小，所以我鼓励你稍后在一个好的显示屏上查看幻灯片。

由于 Burley 的 diffusion profiles 是归一化的，因此可以将 SSS 实现为一个能量守恒的模糊滤波器。你可以想象光能从入射点重新分布到周围的表面上.
类似于之前的方法，我们在屏幕空间进行卷积，并利用深度缓冲来考虑表面的几何形状。

如我之前提到的，我们在离线重要性采样，并在运行时使用一组预计算的样本。SSS Pass 本身是作为全屏 compute shader 实现的。
它需要大量带宽，并且大量使用 LDS 来减少和芯片外存储器的数据传输。

• LDS （Local Data Share） ./GPUArchitecture.html#org43b1c85
  

thread group（用数字表示）由 4 个 wavefronts 组成，线程按 Z-order curve 排序，以改善数据访问的局部性。
LDS 缓存（显示为彩色块）包含 radiance 和线性深度值，并具有 2 个纹素的边界，以便每个像素至少有一个小的缓存邻居。

我们在 G-Buffer Pass 期间用材质类型标记模板。这使我们能够创建分层模板表示，并在 SSS Pass 期间 discard 整个像素 tiles。
在 lighting pass 期间，我们还标记 subsurface lighting buffer，以避免在 SSS Pass 期间执行每个像素的模板测试。
我们还在 lighting pass 期间求解两个 transmission events(传输事件)。虽然这在概念上是错误的，但视觉差异非常小，这使我们可以在 SSS Pass 期间避免读取法线缓冲区。

我们还实现了一个基本的 LOD 系统。
我们根据滤波器在 3 个离散步骤中的屏幕空间 footprint 更改样本数量：
我们禁用子像素大小的圆盘的滤波器，对于中等大小，我们使用 21 个样本，否则使用 55 个样本。

视觉效果依然保持一致，LOD 过渡是不可见的。

我们还发现随机按像素旋转样本分布很重要。这使我们可以用少量的噪声代替结构化的欠采样 artifacts。

在 PS4 上，我们每个像素限制为 21 个样本。使用你在屏幕上看到的设置(PPT 中没有显示，具体设置信息)，compute shader 执行卷积并合并 diffuse 和 specular lighting buffers 需要 1.16 毫秒。

Disney 模型的主要优点是更清晰的视觉效果，即使在相同的散射距离下也可以保留更多的法线贴图细节。

Subsurface 散射是将 subsurface lighting buffer 与 diffusion profile 卷积实现的。
diffusion profile 是重要采样的，而光照不是。因此，光照信号的欠采样可能会导致典型的随机噪声。在足够的照明下，通常不会出现可见的问题。然而，人工照明条件可能会引起问题。
例如，交替点亮和完全不点亮的简单棋盘格图案，在技术上来说这不是一个有限带宽的信号。
我们使用时间抗锯齿来减少噪声量。

我们方法的另一个局限性是卷积核具有非常大的屏幕 footprint。样本最终相距很远，破坏纹理高速缓存，降低了性能。
最后，厚物体的半透明性做出了太多假设，无法为复杂厚物体产生准确的结果。

在未来，我们希望将我们的实现进行扩展，以支持切线空间积分。由于插值顶点法线在 G-Buffer 中不可用，我们的计划是从深度缓冲区计算健壮的(robust)切线空间法线。

对于半透明度，我们希望超越当前的“恒定厚度均匀照明板”模型。这需要对最近的背面进行 diffuse shading，并进行另一个屏幕空间 pass，将其与前面的 SSS 集成。

• Cross Bilateral Filter http://techtidings.blogspot.com/2012/03/jointcross-bilateral-filter.html
  

该文件展示了 normal map 的混合：
./SkinRendering/111_normal_map_lerp.ggb

• Normal Map Mipmap https://www.jianshu.com/p/efabea28ed1a
  
• Mipmapping_Normal_Maps https://developer.download.nvidia.com/whitepapers/2006/Mipmapping_Normal_Maps.pdf
  
• Spectacular-Specular-LEAN-and-CLEAN video https://www.gdcvault.com/play/1014557/Spectacular-Specular-LEAN-and-CLEAN
  
• Spectacular-Specular-LEAN-and-CLEAN ppt https://fdocuments.in/document/spectacular-specular-lean-and-clean-specular-highlights-dan-baker-firaxis.html
  

下面文件展示了 nol wrap 的曲线：
./SkinRendering/111_nol_wrap.ggb