揭开光栅化的奥秘：从模拟到数字的转换 (光栅化过程)

简介

光栅化是一个将模拟图像转换为数字图像的过程。数字图像由一个个称为像素的小点组成，而模拟图像则是由连续的色调和亮度组成的。光栅化过程将模拟图像的连续数据转换为数字像素数据，以便计算机处理和显示。

光栅化在数字摄影、图形设计、游戏开发和其他需要处理图像的领域中至关重要。

光栅化过程

光栅化过程通常包括以下步骤：

1. 采样：将模拟图像分解为一个个小区域，称为像素。每个像素代表图像中特定点的颜色和亮度。
2. 量化：将每个像素的颜色和亮度值转换为有限的离散值集合。这通常通过位深度来决定，例如 8 位或 16 位颜色深度。
3. 存储：将量化的像素数据存储在数字文件中。该文件通常包含有关图像大小、颜色深度和像素格式等信息。

采样

采样决定了光栅化图像的质量。采样率越高，图像中的像素越多，图像质量就越好。但是，更高的采样率也会导致文件大小更大。因此，重要的是在图像质量和文件大小之间取得平衡。

采样有两种主要方法：

• 均匀采样：将图像均匀地分解为像素网格。
• 非均匀采样：重点采样图像中细节较多的区域。这可以产生更高质量的图像，同时保持较小的文件大小。

量化

量化通过将每个像素的颜色和亮度值转换为有限的离散值集合来减少光栅化图像的数据量。这可以通过舍入、截断或使用调色板等技术来实现。

量化水平由位深度决定。较高的位深度（例如 16 位）允许更多的颜色和亮度值，从而产生更逼真的图像。但是，较高的位深度也会导致文件大小更大。

存储

光栅化图像通常存储在以下文件格式中：

• Bitmap (BMP)：一种未压缩的格式，产生大文件。
• JPEG (JPG)：一种有损压缩格式，可以显著减少文件大小，同时保持良好的图像质量。
• PNG：一种无损压缩格式，产生比 JPEG 更大的文件，但图像质量更高。
• GIF：一种有损压缩格式，特别适用于具有有限颜色的图像。

光栅化图像的优点和缺点

优点广泛的应用范围相对容易处理和显示较小的文件大小（与模拟图像相比）缺点随着图像放大的尺寸越大，图像质量下降（像素化）文本和其他基于矢量的元素可能显得粗糙需要大量存储空间（对于高分辨率图像）

结论

光栅化是将模拟图像转换为数字图像的关键过程。通过采样、量化和存储，光栅化能够以数字格式表示连续的图像数据，以便计算机处理和显示。

光栅化图像具有广泛的应用范围，但也有其局限性，例如随着尺寸放大时的图像质量下降。在选择光栅化图像时，理解其优点和缺点非常重要，以便做出明智的决定以满足特定需求。

---

图形学 光栅化详解（Rasterization）

计算机的屏幕是二维的平面坐标，以左上角为原点，x轴向右增加，y轴向下增加。

在3D图形学中，物体是3维的，拥有X, Y, Z三个坐标，并且拥有R, G, B三种颜色，alpha透明度，U, V贴图坐标，N法线。 三维物体在二维屏幕上的显示，大致分为以下几步：

在第二步中，我们计算出了3D模型每个顶点的颜色，这个是基于3维坐标的，顶点的三维坐标可以是 小数 。 但在屏幕渲染时，屏幕是只有X,Y二维的，并且其像素点坐标都是 整数 。 1920×1080的屏幕只有1920×1080=个像素点。 所以光栅化的连点描边是一个近似过程。

光栅化主要有以下几步：

那么，假设我们已经得到了3个顶点的坐标，并且已知这个三角形是红色。 v1 (-1.5,1.5, 1.5) v2 (1.5,1.5, 1.5) v3 (0.2,0.2, 0.2) 如何判断屏幕的哪些像素点在该三角形内部？ 主流的算法有两种： （Linear Expression Evaluation） Line 本期只讲LEE，因为scan Line我没有亲自搞过。 LEE大致原理如下：

需要注意的地方：

如何定义左边和上边? 由于重画这个问题只出现在边上，对于三角形内部的像素点，都是只画一次的，所以不用考虑内部点，只考虑三条边上的点。

如图所示： 1）假定三角形v1v2v3是这样的，我们当前要上色的像素点为P1（红色），落到了v1v3这条边上，那么就取不在这条边上的顶点v2，计算过v2的水平线与v1v3的交点R1，如果R1在v2的右侧，即R1.x > v2.x，那么说明P1是落在了 右侧 的边，所以 不画

2）假定我们当前要上色的像素点为P2（绿色），落到了v2v3这条边上，那么就取不在这条边上的顶点v1，计算过v1的水平线与v2v3的交点R2，如果R2在v1的右侧，即R2.x > v1.x，那么说明P2是落在了 右侧 的边，所以 不画

3）假定我们当前要上色的像素点为P3（蓝色），落到了v1v2这条边上，那么就取不在这条边上的顶点v3，计算过v3的水平线与v1v2的交点R3，如果R3在v3的右侧，即R3.x > v3.x，那么说明P3是落在了右侧的边，但图中是R3.x < v3.x，所以P3落在了 左侧 边， 要画

4） 如果存在垂直边或者水平边，怎么判断左右？ 垂直边和上面是一种情况，不用单独拿出来考虑。 水平边的画，只画上方，即只画 左边和上边 还是看上图，假定边v2v3是水平的，那么我们取v1，发现v1的y比较小，即v1在v2v3上方，那么边v2v3就是 下边 ，所以 不画 ，反之则画。

可以参考的论文

关于离屏渲染

我们先来看看常规渲染和离屏渲染的流程，如下图：

如上图，GPU 屏幕渲染有两种方式：

常规渲染流程中的GPU 渲染机制为：CPU 计算好显示内容提交到 GPU，GPU 渲染完成后将渲染结果放入帧缓冲区，随后视频控制器会按照 VSync 信号逐行读取帧缓冲区的数据，经过可能的数模转换传递给显示器显示。

我们可以看到上图中有一个离屏缓冲区，离屏渲染 主要有这些用处 ： 1、为了能够直接复用一些常用的图层数据，将其缓存在离屏缓存中。 2、为了将一些常规渲染流程无法完成的特殊效果如圆角、阴影和遮罩、高斯模糊、半透明图层混合等正常的渲染流程采用油画算法由远及近的渲染图层进行处理并缓存，当该图层显示到屏幕上后，帧缓冲区再来删除这一图层的数据，过程参照下图：

但是如果给图层设置了特殊效果则有可能需要触发离屏渲染，以圆角为例，此时是不走常规渲染的，为什么，如下图所示：

以上，就解答了第一个问题，什么是离屏渲染。

1、如上图所示相比于正常的渲染流程，离屏渲染需要额外创建一个离屏缓冲区，需要 多耗费一些空间 ； 2、触发离屏渲染后，需要先从Frame Buffer切换到Off-Screen Buffer，渲染完毕后再切换回Frame Buffer ，这一过程需是比较 耗费性能的，因为要来回切换上下文； 3、数据由Off-Screen Buffer取出，再存入Frame Buffer也需要 耗费时间，这样增加了 掉帧的可能性；由于垂直同步的机制，如果在一个VSync时间内， CPU或者GPU没有完成内容提交，则那一帧就会被丢弃，等待下一次机会再显示，而这时显示屏会保留之前的内容不变。 这就是界面卡顿的原因 。 4、 离屏缓冲区存在 空间限制，即屏幕像素的 2.5倍 ，当大于这一值时便不会触发离屏渲染。 （有待扩展相关知识面，当需要离屏渲染时又超出离屏渲染的空间限制后，对应超出部分会产生什么问题？）

如上文所述，实现一些特殊效果例如圆角、阴影和遮罩、抗锯齿、高斯模糊、半透明图层混合等会触发离屏渲染。

重点说说 光栅化 ，当设置 为 true时，也会触发离屏渲染。 光栅化概念 ：将图转化为一个个栅格组成的图象。 光栅化特点：每个元素对应帧缓冲区中的一像素。 shouldRasterize = YES在其他属性触发离屏渲染的同时，会将光栅化后的内容缓存起来，如果对应的layer及其sublayers没有发生改变，在下一帧的时候可以直接复用。 shouldRasterize = YES这将 隐式的创建一个位图 ，各种阴影遮罩等效果也会保存到位图中并缓存起来，从而减少渲染的频度。 相当于光栅化是把GPU 的操作转到CPU上了，生成位图缓存，直接读取复用。 当你使用光栅化时，你可以开启Color Hits Green and Misses Red来检查该场景下光栅化操作是否是一个好的选择。 绿色表示缓存被复用，红色表示缓存在被重复创建。 如果光栅化的层变红得太频繁那么光栅化对优化可能没有多少用处。 位图缓存从内存中删除又重新创建得太过频繁，红色表明缓存重建得太迟。 可以针对性的选择某个较小而较深的层结构进行光栅化，来尝试减少渲染时间。 对于经常变动的内容，这个时候不要开启，否则会造成性能的浪费 。 例如经常打交道的TableViewCell ，因为TableViewCell的重绘是很频繁的（因为Cell的复用），如果Cell的内容不断变化，则Cell需要不断重绘，如果此时设置了可光栅化，则会造成大量的离屏渲染，降低图形性能。

因此对于是否开启shouldRasterize有以下建议：

1、iOS图形渲染流程分为 正常渲染流程和 离屏渲染流程； 2、离屏渲染是在帧缓冲区之外开辟了一个临时的缓冲区，用于保存一些暂时没有用到的数据，之后会从离屏缓冲区取出，渲染后再放入帧缓冲区； 3、离屏渲染 会有一定的性能问题 ，但是我们 依然会有使用到的地方 ； 4、离屏缓冲区最大为 屏幕像素的2.5倍，超出不会触发离屏渲染； 5、设置圆角不一定会触发离屏渲染，但是如果有 多个图层，则 会触发离屏渲染 。

Instruments 监测离屏渲染：

iOS版本上的优化：

光栅化的介绍

光栅化是一种将二维图像转化为位图图像的技术。

详细解释如下：

光栅化是一种图形处理技术，主要应用于计算机图形学和游戏开发中。 它通过特定的算法将二维图像或者三维模型的渲染结果转化为位图图像。 这一过程涉及到像素级别的处理，即将连续的图像信号离散化，以便于在计算机屏幕上显示。 在光栅化的过程中，图像中的各种元素如线条、形状和色彩等都会被转换为像素的排列组合，从而形成了可以在屏幕上显示的图像。

光栅化的主要目的是提高图像的清晰度和逼真度。 通过光栅化，可以将矢量图形转换为位图图像，使得图形的细节更加丰富多彩。 此外，光栅化还能够优化图像的显示效果，使其更加符合人眼的视觉感知。 在计算机游戏领域，光栅化的技术对于实现高质量的游戏画面和流畅的游戏体验至关重要。

光栅化的过程涉及到多个步骤，包括渲染管线中的顶点处理、图元装配、光照计算等。 在顶点处理阶段，图形的顶点坐标会被转换为屏幕上的像素坐标。 接下来，图元装配阶段会将顶点连接起来形成图形元素。 然后，在光照计算阶段，根据光照模型计算每个像素的光照信息。 最后，通过纹理映射和像素着色等步骤，完成最终的光栅化过程，生成可以在屏幕上显示的位图图像。

总之，光栅化是一种将二维图像或三维模型转化为位图图像的技术，广泛应用于计算机图形学和游戏开发中。 它通过特定的算法和步骤，将连续的图像信号离散化为像素的排列组合，从而实现了高质量的游戏画面和逼真的图像效果。

计算机图形学-Computer Graphics（1）

计算机图形学是利用计算机合成和操作视觉信息的学科。 它的应用领域广泛，包括游戏、电影、虚拟现实(VR)、增强现实(AR)、用户界面(GUI)、数字照片、地图绘制、3D打印、建筑设计等。 在计算机图形学中，涉及到的知识多而复杂。 首先，要解决的是如何建模，例如绘制一个立方体。 假设立方体长宽高为2*2*2，中心在三维坐标轴中心（0,0,0）。 立方体的八个顶点坐标分别为：A(1,1,1)，B(-1,1,1)，C(1,-1,1)，D(-1,-1,1)，E(1,1,-1)，F(-1,1,-1)，G(1,-1,-1)，H(-1,-1,-1)。 接下来，需要解决的是如何将三维空间中的立方体投影到二维平面上，即用数字描述在屏幕上显示立方体的过程。 投影的基本策略包括将三维顶点投影成二维平面上的点，然后将这些点连接起来。 透视投影是基于“近大远小”的原理，通过小孔成像原理，将三维物体显示在二维平面上。 具体公式为：v = y/z, u = x/z，其中x, y, z指的是顶点到相机小孔C的水平、竖直和横向距离，而不是顶点在三维空间中的坐标。 接着，我们需要了解像素（Pixel）的概念。 一个像素由红绿蓝三原色和色彩空间（透明度）信息组成，以32位（相当于一个浮点数）存储，每个值范围为0-255。 显示屏由许多像素组成，1920*1080分辨率表示横向1080个点，纵向1920个点，共约200万个点。 显示像素的方法有LCD和DMD等。 光栅化是指将连续的物体（如线、多边形）用像素网格表示。 对于线段的光栅化，可以采用Diamond Rule，即只在直线穿过正方形中间的菱形区域时点亮整个正方形像素。 通过求解线段的斜率，可以简化光栅化过程。 通过建模和光栅化，我们可以在屏幕上显示3D物体。 下一节将学习如何绘制更复杂的平面图形，以及处理锯齿问题。 理解3D物体的建模和光栅化过程是计算机图形学的基础，为后续学习更复杂的表面描绘、光照模拟、材质属性和物体运动做好准备。 学习计算机图形学是一个循序渐进的过程，从简单的二维绘图到复杂的三维渲染，涵盖了数学、几何、计算机视觉等多个领域。 通过不断实践和学习，可以逐步掌握这一领域的知识和技能。

对多重采样（MSAA）原理的一些疑问？

深入探讨多重采样（MSAA）的神秘世界，让我们从Khronos和微软的官方文档出发，理解这个抗锯齿技术的运作原理。 OpenGL和DX中的MSAA，其核心是每个像素的覆盖掩码（4-bit）和样本（4个深度值），它们的协同工作确保了图像的平滑性。

光栅化、片段着色与裁剪

在渲染流程中，先经历光栅化，将几何形状转换为像素。 接着，片段着色器单独处理每个像素，但它并未考虑覆盖情况，只计算单个样本的颜色。 裁剪阶段则是关键，因为我们需要考虑scissor区域，以确定哪些样本是有效的。 在此之后，MSAA的合成过程在片段着色器之后进行，以便利用裁剪信息。

4x MSAA的执行策略

关于4x MSAA的执行，有两种可能的解释：一种是逐个样本执行，即一次处理四个样本；另一种是整体一次性处理。 样本颜色的来源可能各异，可以是每个位置独立采样或所有样本共享中心颜色，这取决于具体实现的技术细节。

默认情况下，每个像素仅进行一次采样，中心颜色会被复制到四个样本中。 这可能源于像素中心或内部样本，以避免Outerpolate现象。 提升Pixel Frequency虽能提高效率，但可能影响视觉效果，这时Sample Frequency提供了选择，让每个像素的样本独立由片段着色器处理。

MSAA的深度与透明度处理

MSAA（如4x）的默认操作是对样本颜色进行加权平均，深度和模板值通常是四个独立值。 如果深度测试失败，相应的样本会被忽略。 Alpha to Coverage通过改变覆盖掩码，实现了顺序无关的透明度处理。 尽管Alpha Test在某些情况下效果不佳，Alpha Blend则提供了更佳的边缘融合，但需要遵循特定顺序。 Alpha to Coverage类似于基于样本的Alpha Test，提供了更灵活的解决方案。

在处理方式上，MSAA与Supersampling的主要区别在于，MSAA对所有位置进行处理，而不仅仅是边缘。 最终，MSAA输出的图像以100x100分辨率的像素为单位，每个像素包含四个样本的均值，这个过程通常通过双线性插值（Bilinear resolve）来实现。 值得注意的是，样本颜色可能来自不同的三角形，取Z测试通过的三角形颜色作为最终结果。

通过深入了解MSAA的这些细节，我们能够更好地欣赏到它在消除锯齿、提升图像质量方面的独特贡献，以及在实际应用中的灵活调整选项。

---

---

相关标签： 光栅化过程、 揭开光栅化的奥秘、 从模拟到数字的转换、

上一篇：光栅化技术点亮数字显示的像素画布光栅化技

下一篇：光栅化数字化世界的像素化艺术光栅化算法