Calibrar um scorecard quando todo mundo cai em um nível

Para calibrar um scorecard, leia a distribuição dos resultados, mova os limites até que todo nível tenha gente, confira se os níveis ainda cobrem de zero a cem sem buraco nem sobreposição e olhe de novo. Se oitenta por cento caem em um nível, os pontos de corte estão errados.

Como calibrar um scorecard com pessoas de verdade

Você não consegue desenhar no papel um scorecard que discrimine. Consegue desenhar um plausível. Depois você o conserta com pessoas reais.

A maioria dos construtores nunca calibra o scorecard. Publicam, juntam respostas completas e nunca olham. Essa é a diferença inteira entre um scorecard medíocre e um bom, e custa uma tarde. Calibrar é mais aritmética do que escrita. Para quem tem poucas horas, é o melhor tipo de conserto: sem texto novo, sem pergunta nova, só números que você pode mover.

Espere até haver algo para ler

Não calibre com dez pessoas. O ritmo do guia é depois das primeiras cinquenta respostas completas, e depois todo mês. Antes disso você lê ruído, e o ruído tenta você a consertar problemas que não existem. Depois disso surgem padrões que são reais.

Uma regra antes de começar: ajuste antes de levar tráfego. Toda mudança feita depois do lançamento embaralha o seu histórico, como a última seção explica. Então a melhor hora de calibrar é o trecho tranquilo depois do primeiro lote pequeno de respondentes reais e antes de divulgar o scorecard em algum lugar barulhento.

Guia gratuito · 28 páginasMonte a versão honesta.Uma avaliação que separa as pessoas, diz algo verdadeiro e te dá um motivo para começar a conversa.Baixe o guia gratuito →

Quatro leituras, quatro veredictos

Há quatro coisas a ler. Cada uma tem um veredicto e cada uma aponta para um tipo diferente de conserto.

A quarta é tratada à parte em como achar perguntas mortas em um scorecard. Este post trata das outras três, porque elas atuam no nível do instrumento inteiro.

A descoberta mais comum também é o conserto mais fácil

Digamos que você desenhou cinco níveis e oitenta por cento das pessoas caem em um. O que deu errado? Não as pessoas. O guia é direto nisto: os pontos de corte estão errados, não os respondentes. As pessoas são o que são. Seus limites estão no lugar errado para as notas que elas realmente produzem. É a descoberta mais comum por uma boa margem. E é a mais fácil de consertar, porque é aritmética e não escrita. Você não reescreve nenhuma pergunta. Você move uma linha.

O instinto é culpar o público. "Minhas pessoas estão todas no mesmo estágio." Talvez. Mas um scorecard que não separa ninguém não está dizendo que seu público é uniforme. Está dizendo que não consegue distingui-las. Conserte primeiro o instrumento e faça a pergunta sobre o público depois.

A questão mais ampla de onde as linhas devem ficar, para começar, está em como definir os limites das faixas do scorecard. Calibrar é o que você faz quando o primeiro palpite encontrou a realidade.

O ciclo para calibrar um scorecard

O guia dá um nome à calibragem, e é um ciclo de quatro passos.

1. Leia a distribuição das notas. Onde as pessoas realmente caem?
2. Mova os limites. Desloque até todo nível ter gente.
3. Confira se os níveis ainda cobrem tudo. De zero a cem, sem buraco, sem sobreposição.
4. Olhe a distribuição de novo. Ela se espalhou como você queria?

O passo três é o que as pessoas esquecem, e é o que dói. Ao arrastar um limite, você pode deixar um buraco atrás dele ou fazer duas faixas se tocarem. Um limite que toca casa duas vezes e a vencedora é decidida pela ordem de classificação, ou seja, por acidente. Um buraco é pior. O guia descreve uma escada com um furo que mostrava nenhum resultado no título e o melhor resultado nas recomendações, na mesma página.

O conserto é um hábito. Escreva cada faixa para começar um centésimo de ponto acima de onde a anterior termina. Depois confira o conjunto inteiro, toda vez que editar. Um exemplo real do guia: alguém que fez exatamente quarenta pontos ouviu por meses que seu nível era "Bom" porque uma linha começava um centésimo de ponto cedo demais. Nada deu erro. Ela simplesmente casou primeiro.

Quando seus números discordam entre si

Há uma coisa que vai te confundir depois da sua primeira recalibragem, então digo agora.

Recalibrar normalmente não volta atrás para mudar quem já respondeu. Essas pessoas ficam com o resultado que receberam. Então uma contagem no seu editor pode legitimamente discordar de um gráfico que recalcula ao vivo. Nenhum dos dois está quebrado.

O editor informa o que as pessoas ouviram. O gráfico informa o que os novos limites diriam. Os dois são verdade. Respondem a perguntas diferentes.

Decida qual dos dois você está lendo antes de agir. Se quer saber como o seu público fica contra as novas linhas, use o gráfico ao vivo. Se quer saber o que foi realmente prometido a uma pessoa de verdade que pode responder ao seu e-mail, use o resultado gravado.

Avaliação gratuitaQuão preso você está, de verdade?Faça o Índice de Sufocamento Corporativo, a avaliação gratuita para saber se você está pronto para ser um EUpreendedor.Fazer a avaliação →

Mude uma vez, anote

Nada é recalculado, nunca. As notas são gravadas uma vez, na conclusão. Não existe recálculo. Toda mudança em um valor de opção, um peso ou um limite de nível bifurca o instrumento, e nada registra qual versão alguém respondeu.

Sua análise vai reinterpretar o histórico em silêncio com a nova escala. Uma mudança nos seus números na semana seguinte a uma recalibragem pode ser a recalibragem, não o seu público.

Então crie três hábitos:

• Agrupe suas mudanças. Uma sentada, todas as edições, depois deixe em paz.
• Date toda mudança nas suas anotações. A ferramenta não vai fazer isso.
• Nunca leia uma tendência atravessando uma edição. Trace uma linha no calendário e compare só dentro de cada lado.

Mais uma coisa a conferir quando terminar. Todo resultado deve continuar com um follow-up à escuta. Um resultado sem ninguém do outro lado é a falha silenciosa mais comum que existe. Nada dá erro. Só parece uma semana tranquila. O raciocínio por trás disso, e como escrever um follow-up que valha a pena, está em como escrever o plano de ação de um scorecard.

Uma sessão de calibragem, do começo ao fim

1. Puxe os resultados. Conte quantas pessoas estão em cada nível.
2. Nomeie o problema. Um nível sobrecarregado, um nível vazio, uma dimensão estreita, ou uma dimensão sempre a mais fraca.
3. Edite uma vez. Mova as linhas. Junte ou endureça uma dimensão se precisar.
4. Confira a cobertura. De zero a cem, nada faltando, nada dobrado.
5. Escreva a data e o que mudou.
6. Confira os follow-ups. Garanta que todo resultado ainda tem um à escuta.

Depois feche o editor por um mês. Para calibrar um scorecard bem, volte com respondentes novos, não com uma vontade nova de mexer.

Guia gratuito · 28 páginasMonte a versão honesta.Uma avaliação que separa as pessoas, diz algo verdadeiro e te dá um motivo para começar a conversa.Baixe o guia gratuito →

O ritmo das perguntas

Calibrar não é só sobre notas. A maior alavanca sobre a conclusão é o ritmo das perguntas, e você o controla.

Uma pergunta aparece por tela. Perguntas de escolha única avançam sozinhas depois de um instante. Múltipla escolha, controles deslizantes e caixas de texto exigem um clique. Então mudar o tipo de uma pergunta muda o ritmo físico da avaliação inteira, e quase ninguém trata isso como escolha de design. Mantenha a espinha dorsal em escolha única. Gaste as paradas de fluxo de propósito, perto do fim.

A ordem importa mais do que parece. A ordem das perguntas normalmente é a ordem das dimensões, com o nome da dimensão impresso acima de cada pergunta. Então você não está ordenando perguntas. Está ordenando capítulos. Abra com a dimensão mais fácil e mais lisonjeira. Ponha a mais difícil em terceiro ou quarto, depois do ponto em que as pessoas já investiram e antes de se cansarem.

O progresso também persuade. Ele costuma ser calculado pela posição, então a pergunta um de vinte e cinco já parece uma fração pequena concluída. Pontos e etapas são honestos, mas ficam intimidadores depois de uma dúzia de perguntas. Acima de vinte, use uma barra contínua. Se as conclusões estão baixas mesmo com resultados saudáveis, olhe aqui antes de mexer nos limites.

Avaliação gratuitaQuão preso você está, de verdade?Faça o Índice de Sufocamento Corporativo, a avaliação gratuita para saber se você está pronto para ser um EUpreendedor.Fazer a avaliação →

Perguntas frequentes

De quantas respostas preciso antes de calibrar?

Cerca de cinquenta respostas completas é o ponto de partida do guia, depois uma revisão mensal. Abaixo disso os padrões são quase só ruído e você corre o risco de consertar o que não está quebrado.

E se a maioria das pessoas cair em um nível ao calibrar um scorecard?

Então os pontos de corte estão errados, não os respondentes. É a descoberta mais comum e o conserto mais fácil, porque você move limites, não reescreve perguntas. Mova até todo nível ter gente.

Recalibrar muda os resultados antigos?

Normalmente não. Quem já respondeu fica com o resultado que recebeu, então a contagem do editor pode diferir de um gráfico ao vivo. Os dois podem estar certos. Anote a data da mudança para nunca comparar atravessando-a.

E se a mesma dimensão for a mais fraca para quase todo mundo?

Seu scorecard pode ser um tema só usando vários chapéus. Isso normalmente quer dizer que várias dimensões medem a mesma coisa por baixo, então veja se dá para juntá-las.

O método completo, com os checklists, está em O Playbook de Scorecard, um playbook gratuito de 28 páginas.