Perguntas inúteis no scorecard:como achar e cortar

Para achar perguntas inúteis no scorecard, leia as respostas pergunta por pergunta. Se uma opção concentra oitenta por cento ou mais das respostas, a pergunta não separa ninguém e gasta atenção sem dar informação. Corte ou reescreva.

Como achar perguntas inúteis no scorecard

Você escreveu umas vinte perguntas. Gostou de todas. Algumas não estão fazendo nada.

Uma pergunta inútil parece boa na página. Está bem redigida, é relevante, fica certinha na sua dimensão. E quase todo mundo responde do mesmo jeito. Ela não diz nada sobre ninguém. Pior, custa a cada pessoa alguns segundos de atenção e não devolve nada.

Você não vê isso da sua mesa. Só vê em respostas reais. Então achar perguntas inúteis em um scorecard é trabalho de leitura, não de escrita.

A regra dos oitenta por cento

O teste é simples. Olhe como as respostas de uma pergunta se distribuem entre as opções. Se uma opção concentra oitenta por cento ou mais, a pergunta está morta.

Por que essa linha? Porque uma pergunta merece o lugar dividindo o grupo. Se quase todo mundo escolhe a mesma resposta, ela não distingue uma pessoa de outra. Soma a mesma quantidade a quase toda nota. Tire-a e o ranking mal se mexe.

Uma distribuição dividida é uma pergunta fazendo o trabalho dela. Duas ou três opções com uma fatia real cada uma significam que as pessoas diferem aqui, e a sua pontuação está captando isso.

Não espere a perfeição. O guia sugere fazer essa leitura depois das primeiras cinquenta respostas completas, e depois todo mês. Antes disso, você está olhando para ruído.

Guia gratuito · 28 páginasMonte a versão honesta.Uma avaliação que separa as pessoas, diz algo verdadeiro e te dá um motivo para começar a conversa.Baixe o guia gratuito →

Nada vai calcular isso por você

Isto pode surpreender. Você imaginaria que sua ferramenta aponta as perguntas inúteis. Não aponta.

O guia examinou toda a camada de análise de um produto maduro de avaliação. Nenhuma correlação item-total. Nenhum coeficiente de confiabilidade. Nenhum índice de discriminação. Nenhum. Toda plataforma da categoria mostra distribuições e deixa a interpretação com você.

Curiosamente, isso é uma boa notícia. Significa que não há um painel mágico que você esteja perdendo. O método é olhar um gráfico por pergunta e se perguntar se está desbalanceado. Dá para fazer numa tarde.

Significa também que a habilidade é saber o que você está olhando. Quem constrói um scorecard chuta. Quem constrói um bom lê.

Quatro jeitos de as perguntas inúteis aparecerem

Respostas desbalanceadas são o sinal principal. Mas perguntas morrem por motivos diferentes, e o conserto depende da causa.

O do controle deslizante merece uma nota. Um controle deslizante sempre tem uma posição. Então conta como respondido e vale meia nota antes de alguém tocar. Nos seus dados é indistinguível de uma pessoa que pensou e escolheu o meio. Se você usou controles deslizantes, trate os resultados deles com desconfiança.

O da escala é mais silencioso. Coloque uma pergunta de sim ou não num scorecard que vai de zero a quatro e ela pode dominar em silêncio quase toda a dimensão, porque o sim vale cem ao lado de vizinhas que chegam a quatro. Nada dá erro. Você só percebe notando que uma dimensão se mexe sempre que uma pergunta se mexe. O conserto está no desenho, tratado em como dar peso às perguntas do scorecard.

Por que cortar é a melhor edição que você fará

Reescrever parece produtivo. Cortar vale mais.

Cortar uma pergunta inútil faz duas coisas ao mesmo tempo. Encurta a avaliação, o que aumenta a conclusão. E remove ruído, o que deixa cada resultado mais nítido. Poucas edições pagam duas vezes.

Para um operador solo, há um terceiro benefício: menos para manter. Cada pergunta é algo que você escreveu, traduziu e defendeu. Menos perguntas significam menos coisas para quebrar.

Há ainda uma consideração escondida. O tamanho decide que tipo de scorecard você tem. O guia nota que os tamanhos se agrupam com força: de vinte a vinte e nove perguntas para o que você dá de graça, e de cento e vinte e cinco a cento e quarenta e cinco para o que você cobra. Se você está criando o gratuito, cada pergunta que corta mantém você dentro do tamanho que funciona.

A pergunta a fazer de cada sobrevivente é: isto poderia dividir o grupo? Se a resposta honesta é "está aqui por completude", esse é o seu sinal.

Avaliação gratuitaQuão preso você está, de verdade?Faça o Índice de Sufocamento Corporativo, a avaliação gratuita para saber se você está pronto para ser um EUpreendedor.Fazer a avaliação →

Corte com cuidado, porque nada é recalculado

Agora a parte que morde. As notas são gravadas uma vez, quando alguém conclui o scorecard. Não existe recálculo. O que quer que você mude, quem já respondeu fica com o resultado que recebeu.

Então cortar uma pergunta depois do lançamento não reescreve a história. Quem a respondeu antes ainda carrega a contribuição dela. Quem faz a versão mais curta depois é medido de outro jeito. Seus números agora vêm de dois instrumentos ligeiramente diferentes, e nada registra qual deles alguém fez.

Disso saem alguns hábitos:

• Ajuste antes de levar tráfego. A hora mais barata de cortar é antes de alguém sério fazer.
• Agrupe suas mudanças. Faça vários cortes de uma vez, em vez de um por semana.
• Date toda mudança nas suas anotações. O sistema não faz isso por você.
• Nunca leia uma tendência atravessando uma edição. Uma mudança depois de cortar uma pergunta pode ser o corte, não o público.

O enunciado da pergunta você edita com segurança. O texto das opções não. Mudar uma opção depois do lançamento é uma nova versão do instrumento, não uma edição, porque pode quebrar traduções e quem está no meio da avaliação. Se você quer reescrever uma pergunta inútil em vez de cortar, mude o texto da pergunta e deixe as opções em paz, ou trate como uma nova versão.

Se cortar deixa uma dimensão magra, o problema pode ser maior do que uma pergunta. Como calibrar um scorecard cobre como ler a dispersão de uma dimensão inteira e o que fazer quando ela nunca vai mudar o conselho de ninguém.

Uma tarde de leitura

1. Espere cerca de cinquenta respostas completas. Menos que isso é ruído.
2. Abra as respostas pergunta por pergunta. Anote as que têm uma opção com oitenta por cento ou mais.
3. Classifique cada pergunta inútil pela causa. Fácil demais, sinaliza a resposta, controle deslizante, desencontro de escala.
4. Corte o que puder. Reescreva só o que precisar.
5. Escreva a data e a mudança nas suas anotações. Depois deixe em paz por um mês.

Antes de começar a cortar, confira se as perguntas que ficam estão alimentando alguma coisa. Uma pergunta com boa divisão e nenhum conselho por trás é uma versão menor do mesmo problema, tratado em como escrever o plano de ação de um scorecard.

Guia gratuito · 28 páginasMonte a versão honesta.Uma avaliação que separa as pessoas, diz algo verdadeiro e te dá um motivo para começar a conversa.Baixe o guia gratuito →

Como é uma pergunta viva

Ajuda saber o alvo. Uma pergunta saudável tem respostas espalhadas pelas opções. Não necessariamente de forma igual. Mas gente suficiente escolhe cada uma de duas ou três opções para que a escolha diga algo sobre ela. Uma boa pergunta fala de comportamento e do que existe, não de opiniões ou intenções. "Você tem um processo escrito para receber um cliente novo?" divide um grupo, porque alguns têm e outros não. "Você se importa com a experiência do cliente?" não divide, porque todo mundo diz que sim. A segunda é a fonte mais comum de perguntas inúteis: pede uma atitude quando deveria pedir um fato.

Confira também se nenhuma pergunta sinaliza a própria resposta certa. Se a pessoa percebe qual opção você quer, vai escolhê-la, e a pergunta morre de educação. O remédio é descrever o que as pessoas realmente fazem em cada nível, em termos simples, para que cada opção soe como uma situação real e não como nota boa ou ruim.

Quando travar, pergunte o que você gostaria de saber sobre um desconhecido antes de falar com ele. Perguntas que você realmente usaria para separar uma conversa de outra estão vivas. As que você só acrescentou para parecer minucioso são as que viram perguntas inúteis em um scorecard.

Avaliação gratuitaQuão preso você está, de verdade?Faça o Índice de Sufocamento Corporativo, a avaliação gratuita para saber se você está pronto para ser um EUpreendedor.Fazer a avaliação →

Perguntas frequentes

Como sei que uma pergunta está morta?

Olhe como as respostas se espalham pelas opções. Se uma opção concentra oitenta por cento ou mais, a pergunta não separa ninguém. Uma pergunta saudável tem respostas divididas por mais de uma opção.

A minha ferramenta de scorecard aponta as perguntas inúteis?

Provavelmente não. O guia examinou a análise de um produto maduro de avaliação e não achou correlação item-total, coeficiente de confiabilidade nem índice de discriminação. Você lê as distribuições por conta própria.

Quando devo procurar perguntas inúteis em um scorecard?

Depois das primeiras cinquenta respostas completas, e depois todo mês. Antes disso, os números são ralos demais para confiar. Faça antes de empurrar o tráfego com força, porque mudanças depois embaralham o seu histórico.

Cortar uma pergunta muda os resultados antigos?

Não. As notas são gravadas uma vez, na conclusão, e nada é recalculado. Quem já terminou fica com o resultado. Date a mudança nas suas anotações para nunca ler uma tendência atravessando-a.

O método completo, com os checklists, está em O Playbook de Scorecard, um playbook gratuito de 28 páginas.