Durante las últimas tres semanas, los conocidos creadores de contenido de Call of Duty JGOD, Drift0r, TheXclusiveAce & S0ur realizaron diferentes pruebas, análisis y recopilación de datos para poder descifrar y entender cómo es el funcionamiento del sistema denominado Skill Based Matchmaking (SBMM) ó Sistema de emparejamiento basado en habilidad dentro de Call of Duty: Black Ops Cold War. Aclaración: tengan en cuenta que el análisis está basado y limitado a la poca información pública que hay.
El Sistema de emparejamiento basado en habilidad se refiere a cómo un juego decide que los jugadores serán colocados en la lobby. Cuando buscas una partida en cualquier videojuego, se utiliza un algoritmo muy complejo para encontrar a otros jugadores y llenar la lobby (paso previo antes de ingresar a la partida); esto se denomina emparejamiento.
Sin embargo, se pueden usar diferentes factores para decidir qué jugadores se colocan junto a ti en tu lobby. La ubicación y la conexión suelen ser los factores más importantes, lo que significa que es más probable que los jugadores que estén geográficamente más cerca de ti participen en tu partida, para reducir el delay (retaso) y aumentar la conectividad.
Por ejemplo, en Call of Duty se cree que el algoritmo de emparejamiento tiene en cuenta tus estadísticas, como el tiempo jugado, la puntuación por minuto y la proporción de bajas/muertes (B/M), y te empareja con jugadores que son similares a ti en estas áreas. Esto generalmente da como resultado que los jugadores con menor nivel de habilidad se emparejen con otros jugadores con menor nivel de habilidad, y que los jugadores de mayor nivel de habilidad se emparejen con otros jugadores de mayor nivel de habilidad.
En este caso, los creadores de contenido realizaron un extenso estudio para poder conocer y entender cómo funciona el sistema de emparejamiento dentro del reciente título de Call of Duty, Black Ops Cold War.
Metodología
Para realizar el estudio y los análisis, cada integrante utilizó varias cuentas:
- TheXclusiveAce utilizó tres cuentas (XclusiveBot: por debajo del promedio del nivel de habilidad; X-Shoshi-X: por debajo del promedio del nivel de habilidad; TheXclusiveAce: sobre el promedio del nivel de habilidad)
- Drift0r utilizó tres cuentas (Muffins: bajo nivel de habilidad; Drift0r: sobre el promedio del nivel de habilidad; Asim: sobre el promedio del nivel de habilidad)
- JGOD utilizó dos cuentas (JGODbot: por debajo del promedio del nivel de habildiad; JGOD: sobre el promedio de nivel de habilidad)
- S0ur utilizó una sola cuenta (Sour: en el promedio del nivel de habilidad)
En total, probaron 9 cuentas con diferentes niveles de habilidad, desde cuentas debajo del promedio hasta cuentas de jugadores competitivos. Además, recolectaron los datos de todos los jugadores que estaban es sus lobbies en un total de diez partidas. Al no tener a disposición la facilidad de acceder a todos los datos, hay algunos jugadores de los cuáles no lograron obtener datos, y por eso dentro de la tabla de datos sin procesar pueden encontrar algunos blancos de información.
Intentaron reunir la mayor cantidad de datos cómo pudieron de las lobbies, para poder encontrar qué tipo de tendencias existen en el emparejamiento, al igual que en el balance de equipos. Recolectaron datos como: proporción de B/M, puntuación por minuto (PPM), precisión, proporción de victorias/derrotas (V/D) y la plataforma en donde se encontraba el jugador. Además, también cronometraron y grabaron cuanto tiempo tardaban en ingresar a una partida y cuanto ping tenían en cada partida.
Estos son algunas de las notas que utilizaron para realizar el proceso de pruebas:
- Asegúrate de que el juego cruzado (cross-play) esté activado
- Prueba durante la hora pico de juego (fin de semana) para maximizar la cantidad de jugadores potenciales
- Elige un modo de juego, solo juega solo (todos los datos de PPM* registrados deben ser para el modo de juego que se está probando solo para evitar resultados masivamente sesgados)
- Recopila datos de 10 partidas por cuenta utilizada
- Cada cuenta utilizada tiene su propia pestaña en esta hoja
- Registra el ping para cada partida y guarda capturas de pantalla de cada lobby que muestre a todos los jugadores
- Registra cuánto tiempo se tarda en ingresar a un lobby desde el momento en que comienza a buscar (Opcional)
- Juega cada partida por completo mientras intentas rendir al nivel de la cuenta que estás probando (si estás probando una cuenta con proporción de 0,7 B/M, intenta mantener una proporción 0,7 B/M y una cantidad de PPM* comparable en cada juego)
- Después de 10 partidas, graba o captura la pantalla de los datos de "Últimas 10 partidas jugadas" en el informe posterior de acción (todas las pestañas)
*PPM: Puntos por minuto
Proporción de B/M & PPM
Cuando lograron comparar la proporción de bajas/muertes (sin incluir asistencias) de cada una de las cuentas, mas el promedio de todos los jugadores con los cuales se encontraban en las 10 partidas, pudieron notar que hay una clara preferencia (reflejada en el gráfico debajo), donde se obtiene un valor de R2 de 0,68, que es relativamente fuerte y demuestra una tendencia. Esencialmente, mientras más alto sea tu proporción de B/M, más probabilidades hay de que te encuentres con jugadores que también tienen una proporción alta. Antes de continuar, los 4 coinciden en que no es algo obligatoriamente constante. Por ejemplo, si tienes una proporción de 1,5 B/M, no significa que todos las personas de tu partida tienen esa proporción también, puedes encontrarte con jugadores con una proporción mayor e inclusive con jugadores con una proporción mucho menor, debido a que sigue habiendo una variación. Estos datos son un promedio, y en promedio, existe una correlación entre tu proporción de B/M y la proporción de las personas contra las que estás jugando.
 |
| Proporción de B/M en la lobby vs proporción de B/M en la cuenta |
Algo similar notaron con la puntuación por minuto (PPM), aunque reconocieron que los valores reales mostrados están muy influenciados por el tipo de rachas que estás atravesando. Mientras recorres una racha, tu PPM crece exponencialmente, y por lo tanto, sesga bastante los datos de este juego en comparación con anteriores títulos. Asimismo, lograron encontrar una tendencia.
 |
| Puntuación por minuto en la lobby vs puntuación por minuto en la cuenta - sin incluir la cuenta Muffins (nivel de habilidad bajo) y la cuenta de Asim (jugador profesional) |
En comparación con el estudio del SBMM en Modern Warfare (2019) que realizaron TheXclusiveAce y Drift0r el año pasado, una de las grandes conclusiones que encontraron fue principalmente, que el rendimiento reciente tiene mucha importancia, incluso más que el rendimiento de la carrera. Esto quiere decir que si tuvieras una serie de buenas partidas contra lobbies con un bajo nivel de habilidad, los datos recolectados el año pasado hubieran indicado que te emparejaría con lobbies más difíciles, contra jugadores con una mayor nivel de habilidad. En el caso de Black Ops Cold War, el juego parecería que tiene el mismo sistema. Según TheXclusiveAce, posiblemente hayan copiado y pegado el mismo sistema de emparejamiento por habilidad de Modern Warfare (2019) en Black Ops Cold War. Esto debido a que hay tendencias y valores muy parecidos, y no cree que sea más fuerte o débil en comparación con los datos obtenidos. Cuando se trata de rendimiento reciente, parece que relativamente estricto y como consecuencia si estás en un nivel alto, te pondrá en partidas más difíciles. Si tienes una serie de partidas en donde tu rendimiento es terriblemente malo, entonces te llevará a encontrar partidas más fáciles.
Algo que no lograron clasificar es cuántas partidas considera el juego como "rendimiento reciente", se desconoce si son las últimas 3 partidas, 5 partidas o 10 partidas. Lo que si se sabe es que hay una correlación fuerte entre el rendimiento reciente y los tipos de jugadores con los que terminarás jugando en contra.
 |
| Variación de la proporción de B/M de las últimas 5 partidas dependiendo de el nivel de habilidad de las cuentas |
En general, parecería ser un sistema muy parecido al que tiene Modern Warfare (2019), sin embargo, lograron encontrar algunos resultados interesantes que no encontraron el año pasado. En el estudio de Modern Warfare, TheXclusiveAce y Drift0r no encontraron ninguna correlación entre el nivel de habilidad y el ping (o la calidad de conexión) que recibimos dentro de las partidas, pero esta vez, todos notaron exactamente la misma tendencia. En promedio, las cuentas con mayor nivel de habilidad tenían un mayor ping, en comparación con las cuentas con menor nivel de habilidad.
 |
| Ping vs Habilidad (de las 3 cuentas de TheXclusiveAce) |
Aclaración: los tamaños de muestras con los que trabajaron son extremadamente muy pequeños, y por lo tanto, se requieren mas pruebas para poder decir esto con absoluta confianza. En este punto, es solo una pequeña tendencia que lograron encontrar y notan que podría estar indicando que el ping no es la variable con mayor importancia a la hora del emparejamiento, y que ser un jugador con mayor nivel de habilidad podría resultar en una peor conexión, a diferencia de si eres un jugador con un menor nivel de habilidad.
No se cree que se ha hecho de manera maliciosa para agregarle ping a los jugadores con mayor nivel de habilidad o más experimentados, si no que se cree que es debido a que los jugadores están siendo extraídos de un grupo con menor cantidad de otros jugadores, que tienen estadísticas relativamente similares, y por lo tanto, el sistema está dispuesto a expandir esa búsqueda a lobbies donde hay un mayor ping para obtener una mejor combinación de nivel de habilidades.
Supuestamente, esto no debería ocurrir, debido a que David Vonderhaar siempre ha sostenido la afirmación "el ping es el rey", lo que significa que la calidad de tu conexión nunca será sacrificada por el bien del emparejamiento basado en habilidad, y en este caso, parecería que no se está cumpliendo esta afirmación.
Balance de equipos
Otra sección que resulta muy interesante analizar es el balance de equipos. El balance de equipos está separado del emparejamiento. El emparejamiento es el sistema que reúne un grupo de jugadores, y el equilibrio de equipo es el proceso posterior una vez que la lobby se haya consolidado.
En este caso, lo que han notado gracias a la información recolectada, es que cuando utilizaban sus cuentas debajo del promedio y en sobre el promedio del nivel de habilidad, los compañeros de equipo y los enemigos tenían estadísticas similares - casi idénticas, lo que muestra que los equipos estaban bastante balanceados. Lo opuesto ocurría cuando utilizaban cuentas que estaban por encima del promedio del nivel de habilidad, donde cada categoría de las estadísticas de los enemigos, en promedio, estaban por encima con un margen notable, de las estadísticas de las cuentas utilizadas y de los compañeros de equipo.
Entonces lo que parece que está ocurriendo, es que debido a que no pueden encontrar jugadores con habilidades adecuadas o similares a estas cuentas que están por arriba del promedio del nivel, el balance de equipo tiene que compensar esta discrepancia y estadísticas, y dado que es una discrepancia bastante grande, tiene que colocar en el equipo del jugador con mayor nivel de habilidad, a los peores jugadores de la lobby y situar a los jugadores con mayor nivel de habilidad de la lobby en el equipo contrario. Lo que significa es que si un jugador con un gran nivel de habilidad y unas estadísticas excepcionales (que es un porcentaje muy pequeño de jugadores), donde ningún jugador puede tener estadísticas similares, el juego espera que rindas y te esfuerces mucho para tener una oportunidad de ganar la partida, debido al algoritmo de balance de equipos.
Conceptos erróneos del SBMM
Para finalizar, queríamos aprovechar y rescatar la corrección de los conceptos erróneos que hay cuando se habla del sistema de Skill Based Matchmaking. Comencemos por uno de los conceptos erróneos más frecuentes de este sistema. Muy a menudo se suele pensar que el sistema encuentra 11 clones nuestros y los sitúa en una lobby. Esto no es así. Los jugadores promedio (gran parte de la pase de los jugadores totales) podrán encontrarse con jugadores debajo del promedio, al igual que los jugadores debajo del promedio pueden, en alguna ocasión, encontrarse con jugadores profesionales o por encima del promedio. El sistema no es tan estricto, que nos limita a un rango muy reducido de jugadores con los que podemos coincidir.
En cambio, lo que estamos viendo aquí son los promedios, y en promedio, un jugador con mayor habilidad va a jugar en contra de jugadores que están por encima del promedio; y en promedio, un jugador por debajo del promedio va a jugar con jugadores por debajo del promedio. Esto no significa que no pueda ocurrir un cruce de tipos de jugadores. Cabe agregar, que los jugadores que están por encima del promedio (un porcentaje muy pequeño de los jugadores totales), rara vez se encontrarán con jugadores que tengan mismas estadísticas que ellos, la mayoría de los jugadores que se encontrarán estarán por debajo de su nivel, teniendo en cuenta que ellos tienen un nivel muy superior a la gran base de jugadores.
¿Está el término 'Skill Based Matchmaking' siendo utilizado de manera correcta en este caso?
La utilización del término SBMM es un error que ocurre, muy a menudo, debido a como lo etiquetamos. El sistema que tiene Black Ops Cold War no es verdaderamente Skill Based Matchmaking. Un verdadero sistema de emparejamiento basado en habilidad te daría una puntuación Elo y te emparejaría basándose en ese puntuación de Elo, generalmente el rango Elo no se balanceará significativamente de una partida a otra, como se puede ocurrir en Cold War.
Debido a que se basa en tu rendimiento o desempeño reciente en gran medida, en lugar de tu nivel de habilidad real, este sistema no debería denominarse técnicamente como un emparejamiento basado en habilidad. Se utiliza porque es el término más común, aceptado, utilizado y buscado, pero en realidad, este sistema es mas parecido a un sistema de emparejamiento basado en retención. El mismo no fue diseñado solo para ser justo con los jugadores, y para asegurarse de que los jugadores estén jugando con otros jugadores del mismo nivel, sino que está diseñado mantenerte jugando el mayor tiempo posible, donde te da buenos y malos momentos y se transforma en un asunto cíclico para muchos jugadores de la comunidad, dependiendo de donde encajes y hasta donde llega tu habilidad. Con un sistema de emparejamiento basado en habilidad real no veríamos estos grandes cambios entre lobby y lobby, veríamos una progresión que iría creciendo en dificultad con el tiempo, y esto no es lo que el sistema de Black Ops Cold War parecería reflejar basándonos en los datos.
Todos los videos
Resumen
- Las cuentas con un nivel alto de habilidad tardan más en encontrar partida y tendrán un mayor ping.
- El ping parece escalar dependiendo de la calidad de la conexión base. Por ejemplo, si vives al lado del servidor, y tienes un promedio de 5ms de ping, solo subirá un porcentaje de eso. Pero si vives en una zona más alejada o remota, y tienes 40ms de ping, el porcentaje que subirá será bastante similar, pero la diferencia total en el ping es más amplia y notoria.
- El tiempo de emparejamiento incrementa ligeramente dependiendo del nivel de habilidad, pero solo 10-20s.
- Los datos cualitativos y cuantitativos muestran que el SBMM existe, aunque no está completamente basado en las estadísticas. Hay un MMR oculto donde las estadísticas no están en una escala de 1 a 1 (equitativa) con la lobby.
- Hay una buena correlación entre la proporción de B/M de la lobby y la proporción B/M de tu cuenta.
- Hay una buena correlación entre tu PPM (puntuación por minuto) y la PPM promedio de la lobby.
- La proporción de V/D (victorias/derrotas) está definitivamente considerada por el algoritmo. Pero hay muchas variaciones en el estilo de juego para lograr una conclusión precisa.
- La proporción B/M de las últimas 5 partidas muestran una tendencia extremadamente fuerte que muestra que es considerada por el algoritmo: En cambio en el caso de la PPM, parece no tener efecto, y no hay una tendencia que lo demuestre (aunque varía mucha entre partida y partida, y esta puede ser la razón por la cuál no se pueda demostrar de forma precisa).
- Se empareja en base a la habilidad, aunque se toma en cuenta la proporción de B/M, PPM, proporción de V/D y las últimas 5 partidas.
- Los resultados extremos se muestran en cuentas con un nivel muy alto o bajo de habilidad.
- Cuando se utiliza una cuenta con un nivel bajo de habilidad, te empareja con jugadores que hayan hecho Reverse Boosting. De hecho, el algoritmo puede considerar y emparejar a jugadores que realicen RB entre si.
- La manera en la que el emparejamiento de habilidad funciona en este caso no debería ser un gran problema para la mayoría de los jugadores (dentro del promedio), pero se sentirá de esa manera porque estás incluido en tu grupo de habilidad similar (cualquiera sea el grupo: alto, medio o bajo)
Publicar un comentario