Calibrar un scorecard cuando todos caen en un solo nivel
Cómo calibrar un scorecard: si casi todos caen en un nivel, los puntos de corte están mal, no los encuestados. Sigue el bucle de cuatro pasos y arréglalo.
Para calibrar un scorecard, lee la distribución de resultados, mueve los límites hasta que cada nivel tenga gente, comprueba que los niveles siguen encajando de cero a cien sin hueco ni solape y vuelve a mirar. Si el ochenta por ciento cae en un nivel, los puntos de corte están mal.
Cómo calibrar un scorecard con gente real
No puedes diseñar en el papel un scorecard que discrimine. Puedes diseñar uno plausible. Luego lo arreglas con gente real.
La mayoría de los constructores nunca calibran su scorecard. Publican, reúnen completados y no miran. Esa es toda la diferencia entre un scorecard mediocre y uno bueno, y cuesta una tarde. Calibrar es sobre todo aritmética, no redacción. Para quien tiene pocas horas es el mejor tipo de arreglo: ni texto nuevo, ni preguntas nuevas, solo números que puedes mover.
Espera a que haya algo que leer
No calibres con diez personas. El ritmo de la guía es tras los primeros cincuenta completados, y luego cada mes. Antes de eso lees ruido, y el ruido te tienta a arreglar problemas que no existen. Después, surgen patrones que son reales.
Una regla antes de empezar: ajusta antes de llevar tráfico. Cada cambio hecho tras el lanzamiento enturbia tu historial, como explica la sección anterior. Así que el mejor momento para calibrar es el tramo tranquilo después de tu primer lote pequeño de encuestados reales y antes de empujar el scorecard a ningún sitio ruidoso.
Guía gratuita · 28 páginasConstruye la versión honesta.Una evaluación que separa a las personas, dice algo cierto y te da un motivo para iniciar la conversación.Consigue la guía gratuita →Cuatro lecturas, cuatro veredictos
Hay cuatro cosas que leer. Cada una tiene un veredicto y cada una apunta a un tipo distinto de arreglo.
| Lee esto | Si ves esto | Significa | Haz esto |
|---|---|---|---|
| Distribución de resultados al calibrar un scorecard | El ochenta por ciento de la gente en un nivel. | Los puntos de corte están mal, no los encuestados. | Mueve los límites para que cada nivel tenga gente. |
| Dispersión por dimensión | La mitad central de los encuestados abarca menos de unos diez puntos. | Esa dimensión nunca cambiará el consejo de nadie. | Fusiónala con una vecina o escribe preguntas más duras. |
| Dimensión más débil | La misma es la más débil para alrededor del setenta por ciento de la gente. | Un diagnóstico de un solo tema con cinco sombreros. | Comprueba si tus dimensiones miden lo mismo. |
| Respuestas por pregunta | Una opción concentra el ochenta por ciento o más. | Una pregunta muerta. | Córtala. Mira el artículo hermano más abajo. |
La cuarta se trata por separado en cómo encontrar preguntas inútiles en un scorecard. Este artículo trata de las otras tres, porque trabajan al nivel del instrumento entero.
El hallazgo más común es también el arreglo más fácil
Digamos que diseñaste cinco niveles y el ochenta por ciento de la gente cae en uno. ¿Qué salió mal? No la gente. La guía es tajante en esto: los puntos de corte están mal, no los encuestados. La gente es como es. Tus límites están en el sitio equivocado para las puntuaciones que de verdad producen. Es el hallazgo más común por mucho. Y es el más fácil de arreglar, porque es aritmética y no redacción. No reescribes ni una pregunta. Mueves una línea.
El instinto es culpar a la audiencia. "Mi gente está toda en la misma etapa." Quizá. Pero un scorecard que no clasifica a nadie no te dice que tu audiencia es uniforme. Te dice que no sabe distinguirla. Arregla primero el instrumento y plantea la pregunta sobre la audiencia después.
La cuestión más amplia de dónde deberían ir las líneas en primer lugar está en cómo fijar los límites de las bandas del scorecard. Calibrar es lo que haces cuando tu primera suposición se encontró con la realidad.
El bucle para calibrar un scorecard
La guía le da un nombre a la calibración, y es un bucle de cuatro pasos.
- Lee la distribución de puntuaciones. ¿Dónde cae la gente de verdad?
- Mueve los límites. Desplázalos hasta que cada nivel tenga gente.
- Comprueba que los niveles siguen encajando. De cero a cien, sin hueco ni solape.
- Mira la distribución otra vez. ¿Se repartió como querías?
El paso tres es el que la gente olvida, y el que duele. Cuando arrastras un límite, puedes dejar un hueco detrás o dejar que dos bandas se toquen. Un límite que toca coincide dos veces y el orden decide quién gana, es decir, la casualidad. Un hueco es peor. La guía describe una escalera con un agujero que mostraba ningún resultado en el titular y el mejor resultado en las recomendaciones, en la misma página.
El arreglo es un hábito. Escribe cada banda para que empiece una centésima de punto por encima de donde termina la anterior. Luego revisa todo el recorrido cada vez que edites. Un ejemplo real de la guía: a alguien que sacó exactamente cuarenta le dijeron durante meses que su nivel era "Bueno" porque una fila empezaba una centésima de punto antes. Nada dio error. Simplemente coincidió primero.
Cuando tus números se contradicen
Hay una cosa que te confundirá tras tu primera recalibración, así que la digo ya.
Recalibrar normalmente no vuelve atrás para cambiar a los encuestados pasados. Conservan el resultado que les dieron. Así que un recuento de tu editor puede discrepar legítimamente de un gráfico que recalcula en vivo. Ninguno está roto.
El editor informa de lo que se le dijo a la gente. El gráfico informa de lo que dirían los nuevos límites. Los dos son ciertos. Responden a preguntas distintas.
Decide cuál estás leyendo antes de actuar con él. Si quieres saber cómo se ve tu audiencia frente a las nuevas líneas, usa el gráfico en vivo. Si quieres saber qué se le prometió de verdad a una persona real que podría responder a tu email, usa el resultado guardado.
Evaluación gratuita¿Hasta qué punto estás atrapado?Haz el Índice de Asfixia Corporativa, la evaluación gratuita para saber si estás listo para ser solopreneur.Hacer la evaluación →Cambia una vez, anótalo
Nada se recalcula, nunca. Las puntuaciones se escriben una vez, al completar. No hay repuntuación. Cada cambio en el valor de una opción, un peso o un límite de nivel bifurca el instrumento, y nada registra qué versión hizo cada persona.
Tu analítica reinterpretará en silencio la historia con la nueva escala. Un cambio en tus números la semana después de una recalibración puede ser la recalibración, no tu audiencia.
Así que crea tres hábitos:
- Agrupa tus cambios. Una sentada, todas las ediciones, y déjalo.
- Fecha cada cambio en tus notas. La herramienta no lo hará.
- Nunca leas una tendencia a través de una edición. Traza una línea en el calendario y compara solo dentro de cada lado.
Una cosa más que comprobar al terminar. Cada resultado debe seguir teniendo un seguimiento a la escucha. Un resultado sin nadie al otro lado es el fallo silencioso más común que existe. Nada da error. Solo parece una semana tranquila. El razonamiento detrás de eso, y cómo escribir un seguimiento que valga la pena, está en cómo escribir un plan de acción del scorecard.
Una sesión de calibración, de principio a fin
- Saca los resultados. Cuenta cuánta gente hay en cada nivel.
- Nombra el problema. Un nivel sobrecargado, un nivel vacío, una dimensión estrecha o una dimensión siempre la más débil.
- Edita una vez. Mueve las líneas. Fusiona o endurece una dimensión si hace falta.
- Comprueba el encaje. De cero a cien, nada que falte, nada duplicado.
- Escribe la fecha y lo que cambiaste.
- Comprueba los seguimientos. Asegúrate de que cada resultado sigue teniendo uno a la escucha.
Luego cierra el editor durante un mes. Para calibrar un scorecard bien, vuelve con encuestados nuevos, no con unas ganas nuevas de trastear.
Guía gratuita · 28 páginasConstruye la versión honesta.Una evaluación que separa a las personas, dice algo cierto y te da un motivo para iniciar la conversación.Consigue la guía gratuita →El ritmo de las preguntas
Calibrar no va solo de puntuaciones. La mayor palanca sobre la finalización es el ritmo de las preguntas, y lo controlas tú.
Aparece una pregunta por pantalla. Las preguntas de elección única avanzan solas tras una pausa. Las de opción múltiple, los deslizadores y los cuadros de texto necesitan una pulsación. Así que cambiar el tipo de una pregunta cambia el ritmo físico de toda la evaluación, y casi nadie lo trata como una decisión de diseño. Mantén la columna vertebral de elección única. Gasta los frenos de flujo con intención, cerca del final.
El orden importa más de lo que parece. El orden de las preguntas suele ser el de las dimensiones, con el nombre de la dimensión impreso sobre cada pregunta. Así que no ordenas preguntas. Ordenas capítulos. Abre con la dimensión más fácil y más halagadora. Pon la más difícil en tercer o cuarto lugar, pasado el punto en que la gente se ha implicado y antes de que se canse.
El progreso también persuade. Suele calcularse a partir de la posición, así que la pregunta uno de veinticinco ya se lee como una pequeña fracción hecha. Los puntos y los pasos son honestos, pero intimidan pasadas una docena de preguntas. Por encima de veinte, usa una barra continua. Si los completados son bajos aunque los resultados se vean sanos, mira aquí antes de tocar los límites.
Evaluación gratuita¿Hasta qué punto estás atrapado?Haz el Índice de Asfixia Corporativa, la evaluación gratuita para saber si estás listo para ser solopreneur.Hacer la evaluación →Preguntas frecuentes
¿Cuántas respuestas necesito antes de calibrar?
Unos cincuenta completados es el punto de partida de la guía, y luego una revisión mensual. Por debajo, los patrones son sobre todo ruido y te arriesgas a arreglar lo que no está roto.
¿Y si la mayoría cae en un nivel cuando calibro un scorecard?
Entonces los puntos de corte están mal, no los encuestados. Es el hallazgo más común y el arreglo más fácil, porque mueves límites, no reescribes preguntas. Muévelos hasta que cada nivel tenga gente.
¿Recalibrar cambiará los resultados antiguos?
Normalmente no. Los encuestados pasados conservan el resultado que les dieron, así que un recuento del editor puede diferir de un gráfico en vivo. Los dos pueden ser correctos. Anota la fecha del cambio para no comparar nunca a través de él.
¿Y si la misma dimensión es la más débil para casi todos?
Tu scorecard puede ser un solo tema con varios sombreros. Eso suele significar que varias dimensiones miden lo mismo de fondo, así que comprueba si se pueden fusionar.
El método completo, con las listas de verificación, está en El Playbook del cuestionario de diagnóstico, una guía gratuita de 28 páginas.
¿Hasta qué punto estás atrapado?
Haz el Índice de Asfixia Corporativa, la evaluación gratuita para saber si estás listo para ser solopreneur.