Pesos do scorecard:duas alavancas, não dez

Os pesos do scorecard não se definem pergunta por pergunta. Você tem duas alavancas: os valores das opções definem a escala dentro de um pilar, e os pesos dos pilares definem o equilíbrio entre os pilares. O número de perguntas não é alavanca nenhuma. Use pesos iguais, a menos que consiga defender a diferença em voz alta.

Pesos do scorecard: as duas alavancas que existem

Você não consegue definir os pesos do scorecard com uma caixinha em cada pergunta, então pare de procurar. A maioria das ferramentas ou não tem isso ou salva o valor e nunca o lê. Você configuraria, se sentiria esperto, e nada mudaria.

O que você realmente tem é mais simples, e cabe num cartão.

Esse é o modelo inteiro. Todo o resto com que as pessoas se preocupam é uma dessas três disfarçada.

Pesos são proporções, então largue a aritmética

Os pesos dos pilares são normalizados. A ferramenta divide cada um pela soma de todos. Então vinte, vinte, vinte, vinte, vinte e um, um, um, um, um produzem o mesmo scorecard.

Pare de mexer para os pesos somarem cem. Isso não rende nada e convida a erros. Escolha as proporções em que você acredita e siga em frente.

Depois pergunte se você acredita em alguma delas. Use pesos desiguais só quando conseguir defender a desigualdade em voz alta, para um cliente cético, em uma frase. "Fluxo de caixa conta em dobro porque um negócio que fica sem dinheiro não consegue consertar mais nada." Isso é convicção. "Escrevi mais perguntas sobre isso" não é.

O peso deve expressar o que você acha que importa. Não deve ser subproduto de quantas perguntas você por acaso escreveu. Convicção, não volume.

Guia gratuito · 28 páginasMonte a versão honesta.Uma avaliação que separa as pessoas, diz algo verdadeiro e te dá um motivo para começar a conversa.Baixe o guia gratuito →

Não defina os pesos do scorecard contando perguntas

Esta é a contraintuitiva, e pega quase todo mundo.

A média é calculada dentro do pilar primeiro. Então um pilar com três perguntas e um pilar com doze contam exatamente o mesmo se os pesos forem iguais. Mais perguntas não significam mais influência. Significam mais precisão, ou mais ruído, dependendo de as perguntas serem boas.

Isso dá um jeito mais limpo de decidir quantas perguntas um pilar merece: quantas forem necessárias para separar as pessoas, e nenhuma a mais. Se você quer saber se uma pergunta merece o lugar dela, como achar perguntas mortas em um scorecard mostra como ler isso.

Se uma pergunta precisa contar em dobro, dobre os valores dela

Às vezes você vai querer que uma pergunta importe mais dentro do pilar. Como pesos por pergunta normalmente não existem, a alavanca são os valores das opções.

Faça as opções valerem o dobro. Só isso.

Mas entenda o risco antes de fazer. A pontuação máxima possível de uma pergunta normalmente é calculada como o maior valor entre as opções. Não existe um campo para digitá-la. A escala vive nas próprias opções.

Então escolha uma escala para o instrumento inteiro e anote, porque nada registra a escolha. Duas convenções coexistem nos dados reais, de zero a quatro e de zero a cem em passos de vinte e cinco, e nada obriga uma ou outra. As porcentagens ainda saem certas porque o máximo é derivado. O que quebra é tudo o que supunha uma faixa.

A pergunta de sim ou não que devora um pilar

O exemplo mais claro de por que isso importa. Coloque uma pergunta de sim ou não em um scorecard de zero a quatro e o Sim vale cem, ao lado de vizinhas que chegam a quatro. Essa única pergunta passa a dominar quase o pilar inteiro sem ninguém notar.

Escreva-a como uma pergunta de duas opções na sua própria escala.

A múltipla escolha sem teto

Perguntas de escolher várias têm máximo igual à soma de todas as opções. Cinco opções de vinte e cinco cada dão a essa pergunta um máximo de cento e vinte e cinco. Numa escala de zero a quatro, isso é mais do que um pilar inteiro.

Use-as pouco e defina os valores pensando nessa soma. Texto livre é diferente: não contribui para nenhum lado do cálculo, então sai da conta em vez de valer zero.

O tipo de pergunta é uma decisão de peso disfarçada

Você pode achar que o tipo de pergunta é uma escolha de design. É uma escolha de pontuação. Cada tipo tem o seu teto, e o teto é o peso que você não pretendia definir.

• Escolha única. O máximo é a melhor opção. Avança sozinha. Essa é a sua espinha dorsal.
• Escolher várias. O máximo é a soma de todas as opções. Espera um clique.
• Controle deslizante. O máximo é sempre cem, e espera. Também vem pré-respondido no ponto médio, então conta como respondido e vale metade antes de alguém tocar. Nos seus dados isso fica idêntico a uma resposta intermediária deliberada.
• Texto livre. Não pontua e sai da conta. É a única pergunta que alguém pode legitimamente pular.

O controle deslizante é o mais traiçoeiro. Você o põe por variedade e ele entrega em silêncio cinquenta por cento de uma pergunta a cada respondente preguiçoso. Se precisar usar um, ponha perto do fim e trate o ponto médio como não confiável. A espinha dorsal continua sendo escolha única.

Avaliação gratuitaQuão preso você está, de verdade?Faça o Índice de Sufocamento Corporativo, a avaliação gratuita para saber se você está pronto para ser um EUpreendedor.Fazer a avaliação →

A regra do denominador: pergunte só o que você pontua

Toda pergunta exibida conta para o denominador, respondida ou não. Uma pergunta pulada é um zero, não uma isenção. Isso só é justo se toda resposta for obrigatória, e por isso implementações sérias recusam envios parciais.

A versão mais profunda machuca mais. Qualquer caminho que mostre menos perguntas a alguém precisa dividir por menos perguntas.

Uma implementação mostrava a cada pessoa um subconjunto e depois dividia pelo instrumento inteiro. As notas saíram de vinte e seis a sessenta e dois pontos abaixo. Sete em sete pessoas caíram na faixa errada. Nada deu erro.

Se você ramifica, pula ou personaliza as perguntas, confira a conta no caminho mais curto antes de lançar. Uma nota errada é uma afirmação falsa sobre o negócio de alguém, num documento em que a pessoa pode agir. É pior do que um layout desajeitado, e é invisível.

Congele tudo antes de lançar

Acrescente uma opção melhor a uma pergunta no ar e a nota de todo mundo nela cai, para sempre. Uma pergunta de quatro opções que chegava a setenta e cinco vira uma de cinco opções que chega a cem. Toda resposta antiga de setenta e cinco cai de nota cheia para três quartos dela. Nada é recalculado. Você agora tem duas populações que não consegue comparar, e nenhum registro de que isso aconteceu.

Pior, na maioria das ferramentas editar as opções de uma pergunta as destrói e recria com identificadores novos. As traduções dependem desses identificadores. Quem está no meio da avaliação carrega os antigos e não pontua nada nessa pergunta. Corrigir um erro de digitação pode causar dano real.

Então: o enunciado da pergunta pode ser editado com segurança. O texto das opções não. Mudar uma opção depois do lançamento é uma nova versão do instrumento, não uma edição.

As notas são gravadas uma vez, na conclusão. Não existe recálculo. Toda mudança em um valor, um peso ou um limite bifurca o instrumento. Ajuste antes de levar tráfego, depois agrupe as mudanças, date todas nas suas anotações e nunca leia uma tendência atravessando uma edição. As faixas em que você corta as notas são a outra metade dessa fragilidade, e como definir os limites das faixas do scorecard trata delas.

O padrão em tudo isso é o mesmo. Problemas de peso não se anunciam. Nada dá erro, as porcentagens parecem arrumadas, e uma nota errada simplesmente fica na página de resultado de alguém. Você pega esses problemas conferindo a mecânica antes do lançamento, não lendo o resultado depois.

Guia gratuito · 28 páginasMonte a versão honesta.Uma avaliação que separa as pessoas, diz algo verdadeiro e te dá um motivo para começar a conversa.Baixe o guia gratuito →

Uma rotina de pesos para uma noite de segunda

1. Escolha uma escala. Anote no papel.
2. Defina pesos de pilar iguais. Mude um só se conseguir dizer por quê em uma frase.
3. Confira se toda pergunta chega ao mesmo teto das vizinhas. Procure a de sim ou não e a de escolher várias.
4. Confira o caminho mais curto. O denominador encolhe junto com as perguntas exibidas?
5. Congele as opções. Depois traduza, depois lance.

Saber ajustar os pesos do scorecard é um passo do trabalho maior de como criar um scorecard. Acerte uma vez e você não pensa mais nisso.

Avaliação gratuitaQuão preso você está, de verdade?Faça o Índice de Sufocamento Corporativo, a avaliação gratuita para saber se você está pronto para ser um EUpreendedor.Fazer a avaliação →

Perguntas frequentes

Os pesos dos pilares precisam somar cem?

Não. São normalizados, divididos pela soma de todos, então pesos iguais de qualquer tamanho dão o mesmo scorecard. Escolha as proporções em que você acredita e ignore o total.

Acrescentar perguntas a um pilar o faz importar mais?

Não. A média é calculada dentro do pilar primeiro, então um pilar com três perguntas e um com doze contam igual com pesos iguais.

Como dar peso a uma pergunta para que ela conte em dobro?

Dobre os valores das opções dela. Um campo de peso por pergunta normalmente não existe, ou é salvo e nunca lido.

Posso mudar uma opção depois do lançamento?

Trate como uma nova versão, não como uma edição. Isso pode deixar traduções órfãs, quebrar quem está no meio da avaliação e mudar a escala de todos os anteriores, sem que nada seja recalculado.

O método completo, com os checklists, está em O Playbook de Scorecard, um playbook gratuito de 28 páginas.