#anti-aliasing

Okay, so today I want to talk about anti-aliasing in CSP because it’s kind of a lifesaver? 

But also I have a super hard time remembering how to do it or that it exists so here we go. 

Basically, anti-aliasing helps you color line art without going outside the lines. Here’s a gif of me coloring with my mouse so you can kind of get an idea of what it is we’re talkin’ about here: 

So how do we do that?

 First, select your line-art or sketch layer in the layer panel of CSP. Click on the little lighthouse icon at the top of the panel. When you click off there should be a little lighthouse on the side of your line-art layer! This icon means that is now a reference layer!

Step2:

Go into your brush settings and click Anti-overflow! Click “Do not exceed reference layer” to make it work, tweak the other settings till you’re happy. These are the settings I used in the example below to get a cleaner coloring style

Step 3: 

Add another normal layer below you line art! Make sure it’s selected and color away! Here’s what it looks like with the settings above:

Hi anon. 

SMAA generally gives a better result in most games than FXAA, and is the one I use.

Change the threshold setting to 0.02. You’ll need to double-click or right-click in the box and type it in because the slider doesn’t go that low (you can do that with more or less all boxes that contain a numerical value). With that threshold and all the other settings as high as they can go (except for corner rounding, which should be left either on 0 or very low, because it messes too much with text in menus otherwise) you should catch quite a lot of those jaggies.

There will still be some that escape. Most noticeable will be on windows and some other things with transparency. That’s because the shader treats it as a solid object and doesn’t know to apply anti-aliasing to inner edges around panes of glass. You can try playing around with the transparency anti-aliasing settings of your graphics card driver (through nvidia control panel if that’s what you use) but I haven’t noticed a massive difference doing so myself.

You’ll also want to pay attention to where in the load order SMAA comes. It should as a rule be below effects like MXAO and DoF. I sandwich it between them and the rest of the colour effects. (MXAO should generally come first in the load order, certainly before any other depth effects like fog, depth haze, and DoF). You can reorder effects by dragging and dropping them in the list in the ReShade menu.

Antialiased Square

Instead of using if statements to create objects, I sometimes use 2D distance fields in order to create smoother edges. Plain if statements make hard transitions, which is not always what I want.

In this case, for a square, the distance field is:

float d = max(abs(p.x), abs(p.y));

And this is how I drew it:

float fac = 1.0 - (d - 0.4)/0.01; fac = min(1.0 - fac, 1.0); col.rgb *= fac;

I used this technique in my "Coca-Cola" post.

That is some very cheap Antialiasing.

Cuando V-Ray renderiza una imagen, determina el color de cada píxel para producir una imagen. Sin embargo, una interpretación pixel por píxel no siempre crea una buena imagen; a veces los cambios abruptos de color de un píxel al siguiente, dan como resultado, bordes dentados – no se representan líneas de menos de un píxel de ancho –. Con el fin de resolver estos problemas, V-Ray mira los colores en un nivel “sub-pixel” y realiza un muestreo (Sampler) para definir el mejor color. Por lo tanto, cuando hablamos de un Image Sampler describimos el método para ver los colores dentro y alrededor de cada píxel. El objetivo es colorear cada pixel de tal manera que la imagen final represente la escena de la manera más realista posible.

En V-Ray, un Image Sampler es un algoritmo para “muestrear” colores y producir la matriz final de píxeles que constituyen la imagen renderizada. V-Ray incluye dos Image Sampler principales: Progressive y Bucket (cada uno con su propio enfoque de muestreo y sus propios parámetros). La elección óptima de Image Sampler varía según los elementos de la escena; influye grandemente en el equilibrio entre la calidad y velocidad de una representación, el nivel de detalle en las texturas y muchos otros factores. La mejor manera de elegir el Image Sampler adecuado para una escena es entender cómo funciona; sus fortalezas y limitaciones.

Los ajustes en Image Sampler para V-Ray Adv. determinan el tipo que V-Ray utilizará para renderizar y proporciona ajustes básicos. Los ajustes en Image Sampler para V-Ray RT son limitados porque el motor trabaja progresivamente (en tiempo real) para renderizar la imagen.

¿Qué es el Anti-Aliasing (AA)?

El siguiente ejemplo muestra la diferencia básica entre una imagen con Anti-Aliasing (AA) y una sin Anti-Aliasing (AA)

En la imagen con Anti-Aliasing, el borde de la esfera aparece más suave que en la imagen sin Anti-Aliasing. V-Ray realiza el “filtro” de Anti-Aliasing mediante el muestreo de colores en áreas donde un color se encuentra con otro (como el borde de la esfera que se encuentra con el fondo azul).

Elegir el mejor Image Sampler para cada situación

Ningún Image Sampler es el mejor para todas las escenas o flujos de trabajo. Elegir el mejor es generalmente una cuestión de la experimentación, pero hay algunas pautas que podemos seguir:

El Image sampler Progressive es útil cuando es necesario ver rápidamente los resultados globales (como cuando se coloca luces, cámaras, materiales, etc.) porque genera toda la imagen a la vez y limpia progresivamente el ruido en ella. Además, el render se puede detener en cualquier momento. También es útil cuando se cuenta con un tiempo fijo para crear un render o procesar animaciones de prueba, donde la secuencia debe ser renderizada dentro de un período de tiempo. Combinar VRayDenoiser (Un Render Element) con Image sampler Progressive puede ayudar con la limpieza de ruido de procesamiento.

El uso de Image sampler Bucket permite ejecutar un render entre varias máquinas (Distributed Renders) de manera más eficaz; puede ser útil para reducir el tráfico de red y reducir la pérdida de información si el trabajo se completa con una o más máquinas. Produce renders de mayor calidad y precisión; pero requiere de mucho más tiempo que el sistema progresivo.

Notas: Ajustar el tipo de Image Sampler a Bucket es igual a usar el Image sampler tipo Adaptive en versiones anteriores de V-Ray. Ajustar el tipo Image Sampler a Bucket; deshabilitar Máx. Subdivs; y desactivar el Noise threshold; coincidirá con el comportamiento del Image Sampler Fixed en las versiones anteriores de V-Ray.

Image sampler y uso RAM

Los Image sampler requieren una cantidad sustancial de RAM para almacenar información de render. Esto es especialmente cierto para Image Sampler Progressive, ya que almacena toda la imagen en la memoria antes de comenzar el proceso de renderizado. El Image sampler Bucket por el contrario, almacena sólo el resultado sumado de todas las submuestras para un píxel y, por lo tanto, normalmente requiere menos RAM. El uso de tamaños de Buckets grandes puede requerir más memoria (un bucket gráficamente es el cuadro pequeño con borde blanco que recorre el VFB al producir un render, dependiendo del número de núcleos con los que nuestro procesador cuenta, aparecerán más cuadros; uno por cada procesador).

Default UI Mode

Ahora que entendemos mejor cómo V-Ray determina el color de los objetos a través del Image Sampler. Explicaré sus parámetros. Los siguientes, están visibles cuando el modo de interfaz de usuario de renderizado se establece en Default.

Type – especifica el tipo de muestreador de imágenes. Dependiendo de esta opción, un despliegue adicional estará debajo del despliegue de muestreador de imágenes (Antialiasing) con configuraciones específicas para ese tipo de muestreador.

Progressive – Muestra progresivamente toda la imagen y refina los detalles con el tiempo.

Bucket – Toma un número variable de muestras por píxel dependiendo de la diferencia en la intensidad de los píxeles.

Render Mask – Permite el uso de una máscara de render para determinar qué píxeles de la imagen se calculan. El resto de los pixeles quedan intactos. Esta característica funciona mejor con Vray Frame Buffer como ventana de renderizado y el tipo Image Sampler Bucket. Las siguientes opciones están disponibles para Render Mask:

None – No se utiliza una máscara de renderizado.

Texture – Crea una máscara a partir de un mapa (textura). Los valores negros en el mapa definen pixeles que no se representan, los pixeles con valores blancos se representan. La textura debe utilizar el tipo de asignación de pantalla – Instancia con Material Editor (M) – para poder ser editada.

Selected – Sólo se renderizan los píxeles que pertenecen al objeto seleccionado actualmente. V-Ray seguirá calculando toda la imagen, pero solo renderizará partes que pertenezcan al (los) objeto (s) seleccionado (s). Este modo es útil si desea aislar o volver a renderizar sólo algunos objetos de la escena.

Include / Exlude List – Igual que Selected, pero los objetos se seleccionan por lista.

Layer – Renderiza sólo los objetos que pertenecen a la capa seleccionada actualmente.

Object IDs – sólo procesa objetos con ID de objetos especificados. Separa ID de objeto con una coma (,).

Advanced UI Mode

Los siguientes parámetros se agregan a la interfaz de usuario Advanced.

Min shading rate – Controla el número de rayos que se disparan para Anti-Aliasing (AA) en comparación con rayos para otros efectos como reflejos, GI, sombras de área, etc. Esta configuración es especialmente útil con el Image Sampler Progressive. Valores más altos significan que se gastará menos tiempo en AA, y se pondrá más esfuerzo en el muestreo de color.

Nota: En una escena previamente guardada con V-Ray 2.x, el parámetro Min shading rate se establece en 1 para producir los mismos resultados que las versiones V-Ray anteriores.

Expert UI Mode

Por ejemplo, si tiene 4 subdivisiones de AA (= 16 muestras de imagen) y 8 subdivisiones de luz (= 64 rayos de sombra), V-Ray traza 4 (= 64/16) rayos de sombra para cada muestra de imagen.

Con esta opción desactivada, la configuración anterior de 4 subdivisiones AA y 8 subdivisiones de luz rastreará hasta 1024 (= 16 * 64) rayos de sombra, aunque V-Ray seguirá intentando reducir esa cantidad dependiendo de los ajustes del muestreador Global DMC. Min.

I just got a message about how to get rid of jagged edges with ReShade. I’m reproducing my reply here because I think it’ll be useful to some just starting out.

The jagged edges you can see are an example of what is called ‘aliasing’. You might have heard the term ‘anti-aliasing’ in video games, which means an algorithm is applied to reduce the appearance of those jagged edges and smooth them. Most games come with their own version of anti-aliasing. In TS4 it’s called Edge Smoothing and it’s in the main graphics menu. If you want to use any depth-based effects in ReShade (like MXAO or DOF) you have to turn Edge Smoothing off, or they won’t work. Of course, this will cause more jagged edges to appear again, which we don’t want.

Luckily, ReShade comes with its own versions of anti-aliasing: FXAA and SMAA. You can use either of them, but I prefer SMAA—it’s less destructive to the image (FXAA and SMAA are post-processing methods of anti-aliasing, which means they are applied to the image as a whole *after* the game has rendered the objects, and they can slightly blur the image, SMAA however blurs a lot less and in most cases is generally able to achieve a better result).

So, in the ReShade GUI go ahead and find the SMAA line and turn it on. You can leave it at that if you want, or you can play with the values a little. I always change the ‘threshold’, because the lower the threshold the more aggressive (or strong, or effective) the anti-aliasing. I change it all the way down to 0.02, but you might have good results with 0.05 or even higher depending on what your PC can handle.

Another thing you want to do is reorder the shaders so they work together in the best way. SMAA should come after/below any depth-based effects, and before/above most other things. If you are using a sharpening shader, make sure it comes right after SMAA. You can reorder shaders by dragging them up and down the list in the GUI.

(A note on reordering: MXAO should always be at the very top of the list. I also find DOF should come after all other depth effects like adaptive fog, but before any non-depth effects. SMAA should always come after DOF. You can play around with the order of all the other effects to see what looks best to your eyes.)

SMAA will never catch all of the jagged edges, but it’ll do a good job smoothing most of them. You may find yourself getting more exaggerated jagged edges sometimes when using DOF, as the transition between blurred and not blurred complicates things, but that can be mostly solved by paying attention to your focus distances in the DOF shader, and potentially altering your composition to avoid awkward transitions.

Another thing that greatly reduces aliasing is ‘downsampling’ or ‘hotsampling’. You need a reasonably powerful PC to do either of these. Both of them essentially mean rendering the game window at a larger size than your native resolution, and then shrinking it back down to fit afterwards. What this does is give the image many more pixels to fill in all the gaps, which is the most successful method of aliasing (you may have heard of ‘supersampling’—this uses the same theory). But of course, rendering all those many more thousands of pixels requires more power from your PC’s hardware. The ‘cheapest’ way to do it is hotsampling. I’ve written about this elsewhere (tutorial refers to Mass Effect: Andromeda, but the process is the same for TS4), but it requires using a program called SRWE, which lets you change the size and shape of the game window on the fly while you play. This means you can play in your native resolution, and temporarily increase the window size to take a screenshot, then change the window back to normal afterwards. The resulting screenshot will be a lot bigger than normal, and when viewed at your normal resolution (it will be shrunk to fit in most cases, or you can manually resize it in photoshop or similar) it will make the edges a lot more smooth, almost entirely eliminating the aliasing.