Qué recordar al usar benchmarks

El rol principal de cada benchmark es permitir a los usuarios evaluar el rendimiento aproximado de una computadora o servidor, y comparar estos resultados con otras configuraciones. Además, los benchmarks se utilizan frecuentemente para identificar cuellos de botella: escenarios donde el hardware no puede alcanzar su máximo rendimiento debido a uno o más componentes de configuración. En algunos casos, esto puede verificar si la configuración del servidor se alinea con la declarada.

Qué influye en el resultado

Al elegir un benchmark para un servidor, debes tener mucho cuidado, ya que hay muchos factores que pueden afectar el resultado final y confundirte. Aquí están los principales factores:

Ver también:

Uso de benchmarks de escritorio en servidores;
Confianza total en calificaciones publicadas en línea;
Funciones de ahorro de energía habilitadas;
Parches contra vulnerabilidades como Spectre y Meltdown;
Presencia de unidades de red montadas como unidades locales.

Los benchmarks de escritorio están diseñados principalmente para pruebas con una consola local conectada. La mayoría de ellos están destinados a jugadores y a cualquiera que necesite exprimir al máximo los FPS de las GPUs a una alta resolución de pantalla. Dado que los servidores se acceden mediante tecnologías de acceso remoto como RDP o VNC, las tarjetas gráficas a menudo no pueden cambiarse a los modos requeridos para las pruebas. Esto resulta en fallas incluso en aquellos benchmarks que generalmente están diseñados para probar tanto el hardware de escritorio como de servidores:

Por ejemplo, Passmark PerformanceTest, al intentar probar gráficos 3D, mostrará el error relevante y simplemente omitirá todas las pruebas que no se pueden realizar. En consecuencia, la calificación general se reducirá como si no hubiera GPU en el sistema en absoluto.

Algunos benchmarks de escritorio están diseñados para sistemas con un solo acelerador gráfico instalado o varios, conectados usando las tecnologías de "escritorio" como SLI. Si tu servidor tiene una tarjeta de video incorporada en la placa base, será considerada la GPU principal en el benchmark. Esto ocurre, por ejemplo, al ejecutar el benchmark Novabench si todos los controladores de la placa base del servidor se han instalado correctamente. Algunos benchmarks, además de proporcionar resultados locales, a menudo tienen calificaciones en línea, donde se acumula la información sobre las pruebas realizadas. Esto permite una mejor interpretación de los resultados al compararlos con los valores de referencia.

Desafortunadamente, muchas de estas calificaciones se han convertido en un terreno competitivo, donde cada participante intenta maximizar el rendimiento de su equipo. A veces, los participantes buscan vulnerabilidades y las explotan, sustituyendo valores obviamente inflados que no se pueden obtener de las formas habituales. Por lo tanto, confiar al 100% en tales calificaciones a menudo conduce a situaciones controvertidas cuando las personas comparan su rendimiento con valores inflados y asumen erróneamente problemas de rendimiento. Por lo tanto, al usar datos de tales calificaciones, es importante considerar que a veces contienen datos falsos.

Modos de ahorro de energía

Los sistemas operativos de Windows Server se caracterizan por el uso de varios esquemas para mejorar la eficiencia energética a expensas de una reducción parcial del rendimiento. Por ejemplo, al instalar Windows Server 2019/2022, el esquema Rendimiento óptimo puede ser establecido por defecto, lo cual afecta significativamente los resultados de las pruebas sintéticas. Por ejemplo, si ejecutamos el Passmark PerformanceTest con el esquema de eficiencia energética predeterminado, obtendremos la puntuación como en la imagen anterior: 7401.2

Ahora, cambiemos el esquema a Alto rendimiento y repitamos la prueba:

Como puedes ver, la puntuación es diferente (7660.3). Esto demuestra claramente cómo estas pruebas dependen no solo del hardware en sí, sino también directamente de la configuración del sistema operativo.

Parches de vulnerabilidad

Los proveedores intentan protegerse contra numerosas vulnerabilidades de hardware emitiendo nuevas versiones de firmware BIOS/UEFI o parcheando un sistema operativo. El problema es que estos firmware o parches disminuyen significativamente el rendimiento mientras mejoran la seguridad. El rendimiento general del sistema puede disminuir entre un 5-30 por ciento, lo que afectará instantáneamente los resultados del benchmark. Los sistemas que son menos seguros y susceptibles a vulnerabilidades de hardware tendrán un mejor rendimiento en cualquier prueba sintética. Este es un factor importante a tener en cuenta al estudiar las calificaciones del sistema y las mediciones de rendimiento.

Instala el Módulo de PowerShell:

Install-Module SpeculationControl

Haz una copia de seguridad de la política de ejecución actual:

$SaveExecutionPolicy = Get-ExecutionPolicy

Cambia la política de ejecución actual:

Set-ExecutionPolicy RemoteSigned -Scope Currentuser

Import-Module SpeculationControl

Get-SpeculationControlSettings

Restaura la política de ejecución anterior:

Set-ExecutionPolicy $SaveExecutionPolicy -Scope Currentuser

Para desactivar los parches para las vulnerabilidades anteriores, abre la línea de comandos o PowerShell y ejecuta dos comandos:

reg add "HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Session Manager\Memory Management" /v FeatureSettingsOverride /t REG_DWORD /d 3 /f

reg add "HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Session Manager\Memory Management" /v FeatureSettingsOverrideMask /t REG_DWORD /d 3 /f

No olvides reiniciar el servidor.

Para volver a habilitar estos parches usa los siguientes comandos:

reg add "HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Session Manager\Memory Management" /v FeatureSettingsOverride /t REG_DWORD /d 0 /f

reg add "HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Session Manager\Memory Management" /v FeatureSettingsOverrideMask /t REG_DWORD /d 3 /f

Después de esto también necesitarás reiniciar el servidor.

Optimización de tareas en segundo plano

Por defecto, el sistema operativo Windows Server optimiza el rendimiento para servicios en segundo plano, dándoles la máxima prioridad. Como resultado, las aplicaciones activas que se ejecutan desde la GUI (como benchmarks) tendrán una prioridad menor que las que se ejecutan como servicios. Para cambiar esto necesitas cambiar el modo de prioridad para favorecer aplicaciones regulares sobre servicios, antes de realizar pruebas de rendimiento. Para hacer esto, sigue estos pasos.

Haz clic derecho en Inicio - Sistema - Configuración avanzada del sistema:

Elige la pestaña Avanzado y haz clic en el botón Configuración en la sección de Rendimiento.

En la ventana que se abre selecciona la pestaña Avanzado y marca Programas en la pestaña de Ajustar para obtener el mejor rendimiento.

Confirma con OK.

Conclusión

Este artículo solo enumera los factores básicos que pueden afectar el rendimiento del servidor, y por lo tanto, las lecturas de las pruebas de benchmark sintéticas. Por lo tanto, si estás buscando una razón por la cual tus resultados son muy diferentes de los resultados de las pruebas de servidores con una configuración similar, tiene sentido verificar cuál de los factores anteriores está presente.

Además, me gustaría señalar que no recomendamos desactivar la protección contra tales vulnerabilidades como Spectre y Meltdown en servidores de producción, incluso a pesar de la disminución obvia del rendimiento. La seguridad de los datos tendrá prioridad sobre el rendimiento en la mayoría de los casos.