Calibrar um scorecard quando todos caem no mesmo nível

Para calibrar um scorecard, lê a distribuição dos resultados, move os limites até todos os níveis terem pessoas, verifica que os níveis continuam a cobrir de zero a cem sem buracos nem sobreposição e volta a olhar. Se oitenta por cento caem num só nível, os cortes estão errados.

Como calibrar um scorecard com pessoas reais

Não consegues desenhar um scorecard que discrimine no papel. Consegues desenhar um plausível. Depois corriges contra pessoas reais.

A maioria dos construtores nunca chega a calibrar um scorecard. Publicam, recolhem respostas e nunca olham. Essa é toda a diferença entre um scorecard medíocre e um bom, e custa uma tarde. Calibrar é sobretudo aritmética, não escrita. Para quem tem horas limitadas é o melhor tipo de correção: sem texto novo, sem perguntas novas, só números que podes mover.

Espera até haver algo para ler

Não calibres com dez pessoas. O ritmo do guia é depois das primeiras cinquenta respostas ou assim, e depois todos os meses. Antes disso estás a ler ruído, e o ruído tenta-te a corrigir problemas que não existem. Depois disso surgem padrões que são reais.

Uma regra antes de começares: afina antes de levares tráfego. Cada alteração feita depois do lançamento turva o teu histórico, como explica a última secção. Por isso a melhor altura para calibrar é o período calmo a seguir ao teu primeiro pequeno lote de respondentes reais e antes de empurrares o scorecard para qualquer lado ruidoso.

Guia gratuito · 28 páginasConstrói a versão honesta.Um diagnóstico que separa as pessoas, diz algo verdadeiro e te dá um motivo para começar a conversa.Obtém o guia gratuito →

Quatro leituras, quatro veredictos

Há quatro coisas para ler. Cada uma tem um veredicto e cada uma aponta para um tipo diferente de correção.

A quarta é tratada à parte em como encontrar perguntas mortas num scorecard. Este artigo é sobre as outras três, porque trabalham ao nível do instrumento inteiro.

A descoberta mais comum é também a correção mais fácil

Imagina que desenhaste cinco níveis e oitenta por cento das pessoas caem num. O que correu mal? Não foram as pessoas. O guia é direto: os cortes estão errados, não os respondentes. As pessoas são o que são. Os teus limites estão no sítio errado para as pontuações que elas de facto produzem. É a descoberta mais comum por larga margem. E é a mais fácil de corrigir, porque é aritmética e não escrita. Não estás a reescrever uma única pergunta. Estás a mover uma linha.

O instinto é culpar o público. "As minhas pessoas estão todas na mesma fase." Talvez. Mas um scorecard que não separa ninguém não te está a dizer que o teu público é uniforme. Está a dizer que não os consegue distinguir. Corrige primeiro o instrumento e faz a pergunta sobre o público depois.

A questão mais ampla de onde devem ir as linhas à partida está em como definir os limites das faixas de um scorecard. Calibrar é o que fazes quando o teu primeiro palpite encontrou a realidade.

O ciclo para calibrar um scorecard

O guia dá nome à calibração, e é um ciclo de quatro passos.

1. Lê a distribuição das pontuações. Onde caem as pessoas na realidade?
2. Move os limites. Desloca-os até todos os níveis terem gente.
3. Verifica que os níveis continuam a encaixar. De zero a cem, sem buracos, sem sobreposição.
4. Olha outra vez para a distribuição. Espalhou-se como querias?

O passo três é o que as pessoas esquecem, e é o que dói. Quando arrastas um limite, podes deixar um buraco atrás dele ou deixar duas faixas tocarem-se. Um limite que toca corresponde duas vezes e quem ganha é decidido pela ordem, ou seja, por acaso. Um buraco é pior. O guia descreve uma escada com um buraco que mostrava nenhum resultado no título e o melhor resultado nas recomendações, na mesma página.

A correção é um hábito. Escreve cada faixa de modo a começar um centésimo de ponto acima do fim da anterior. Depois verifica a sequência toda, sempre que editares. Um exemplo real do guia: a alguém que pontuou exatamente quarenta disseram durante meses que o seu nível era "Bom" porque uma linha começava um centésimo de ponto antes. Nada deu erro. Simplesmente correspondeu primeiro.

Quando os teus números discordam entre si

Há uma coisa que te vai confundir depois da tua primeira recalibração, por isso digo-a já.

Recalibrar normalmente não volta atrás para mudar os respondentes passados. Eles ficam com o resultado que lhes foi dado. Assim, uma contagem no teu editor pode legitimamente discordar de um gráfico que recalcula em direto. Nenhum está avariado.

O editor mostra o que as pessoas ouviram. O gráfico mostra o que os novos limites diriam. Ambos são verdadeiros. Respondem a perguntas diferentes.

Decide qual estás a ler antes de agires com base nele. Se queres saber como é o teu público contra as novas linhas, usa o gráfico em direto. Se queres saber o que foi realmente prometido a uma pessoa real que pode responder ao teu email, usa o resultado guardado.

Avaliação gratuitaQuão preso estás, a sério?Faz o Índice de Sufocamento Corporativo, a avaliação gratuita para saberes se estás pronto para ser um EUpreendedor.Fazer a avaliação →

Muda uma vez, escreve-o

Nada se recalcula, nunca. As pontuações são escritas uma vez, na conclusão. Não há repontuação. Cada mudança num valor de opção, num peso ou num limite de nível bifurca o instrumento, e nada regista que versão alguém fez.

A tua análise vai reinterpretar discretamente o histórico contra a nova escala. Uma mudança nos teus números na semana a seguir a uma recalibração pode ser a recalibração, não o teu público.

Por isso cria três hábitos:

• Agrupa as alterações. Uma sessão, todas as edições, depois deixa em paz.
• Data cada alteração nas tuas notas. A ferramenta não o fará.
• Nunca leias uma tendência através de uma edição. Traça uma linha no calendário e compara só dentro de cada lado.

Mais uma coisa a verificar quando acabares. Cada resultado deve continuar a ter um seguimento à escuta. Um resultado sem ninguém do outro lado é a falha silenciosa mais comum que existe. Nada dá erro. Só parece uma semana calma. O raciocínio por trás disso, e como escrever um seguimento que valha a pena, está em como escrever o plano de ação de um scorecard.

Uma sessão de calibração, do princípio ao fim

1. Tira os resultados. Conta quantas pessoas estão em cada nível.
2. Dá nome ao problema. Um nível sobrecarregado, um nível vazio, uma dimensão estreita, ou uma dimensão sempre a mais fraca.
3. Edita uma vez. Move as linhas. Junta ou endurece uma dimensão se for preciso.
4. Verifica o encaixe. De zero a cem, nada em falta, nada duplicado.
5. Escreve a data e o que mudaste.
6. Verifica os seguimentos. Garante que cada resultado continua a ter um à escuta.

Depois fecha o editor durante um mês. Para calibrar bem um scorecard, volta com respondentes novos, não com uma vontade nova de mexer.

Guia gratuito · 28 páginasConstrói a versão honesta.Um diagnóstico que separa as pessoas, diz algo verdadeiro e te dá um motivo para começar a conversa.Obtém o guia gratuito →

O ritmo das perguntas

Calibrar não é só pontuações. A maior alavanca sobre a conclusão é o ritmo das perguntas, e tu controlas isso.

Aparece uma pergunta por ecrã. As perguntas de escolha única avançam sozinhas passado um instante. As de escolha múltipla, os cursores e as caixas de texto precisam de um clique. Por isso mudar o tipo de uma pergunta muda o ritmo físico da avaliação inteira, e quase ninguém o trata como uma escolha de design. Mantém a espinha dorsal em escolha única. Gasta os travões de fluxo de propósito, perto do fim.

A ordem importa mais do que parece. A ordem das perguntas é normalmente a ordem das dimensões, com o nome da dimensão impresso por cima de cada pergunta. Ou seja, não estás a ordenar perguntas. Estás a ordenar capítulos. Abre com a dimensão mais fácil e mais lisonjeira. Põe a mais difícil em terceiro ou quarto, depois do ponto em que as pessoas já investiram e antes de se cansarem.

O progresso também persuade. Costuma calcular-se pela posição, por isso a pergunta um de vinte e cinco já se lê como uma pequena fração feita. Pontos e passos são honestos, mas tornam-se intimidantes depois de uma dúzia de perguntas. Acima de vinte, usa uma barra contínua. Se as conclusões são baixas mesmo quando os resultados parecem saudáveis, olha para aqui antes de mexeres nos limites.

Avaliação gratuitaQuão preso estás, a sério?Faz o Índice de Sufocamento Corporativo, a avaliação gratuita para saberes se estás pronto para ser um EUpreendedor.Fazer a avaliação →

Perguntas frequentes

Quantas respostas preciso antes de calibrar?

Cerca de cinquenta respostas completas é o ponto de partida do guia, e depois uma revisão mensal. Abaixo disso os padrões são sobretudo ruído e arriscas-te a corrigir coisas que não estão avariadas.

E se a maioria cair num só nível quando calibro um scorecard?

Então os cortes estão errados, não os respondentes. É a descoberta mais comum e a correção mais fácil, porque estás a mover limites, não a reescrever perguntas. Move-os até todos os níveis terem gente.

Recalibrar muda os resultados antigos?

Normalmente não. Os respondentes passados ficam com o resultado que lhes foi dado, por isso a contagem do editor pode diferir de um gráfico em direto. Ambos podem estar certos. Anota a data da alteração para nunca comparares através dela.

E se a mesma dimensão for a mais fraca para quase todos?

O teu scorecard pode ser um só tema com vários chapéus. Isso costuma significar que várias dimensões medem a mesma coisa de fundo, por isso verifica se se podem juntar.

O método completo, com as listas de verificação, está em O Playbook do Quiz de Diagnóstico, um guia gratuito de 28 páginas.