Perguntas mortas num scorecard:encontra-as e corta-as

Para encontrar perguntas mortas num scorecard, lê as respostas pergunta a pergunta. Se uma opção concentra oitenta por cento ou mais das respostas, a pergunta não separa ninguém e gasta atenção sem dar informação. Corta-a ou reescreve-a.

Como encontrar perguntas mortas num scorecard

Escreveste umas vinte perguntas. Sentiste-te bem com cada uma. Algumas não estão a fazer nada.

Uma pergunta morta parece boa na página. Está bem redigida, é relevante, encaixa direitinha na sua dimensão. E quase toda a gente responde da mesma maneira. Não te diz nada sobre ninguém. Pior, custa a cada pessoa alguns segundos de atenção e não lhe devolve nada.

Não consegues ver isto da tua secretária. Só se vê em respostas reais. Por isso encontrar perguntas mortas é um trabalho de leitura, não de escrita.

A regra dos oitenta por cento

O teste é simples. Olha como as respostas a uma pergunta se distribuem pelas suas opções. Se uma opção concentra oitenta por cento ou mais, a pergunta está morta.

Porquê essa linha? Porque uma pergunta merece o seu lugar ao dividir o grupo. Se quase todos escolhem a mesma resposta, a pergunta não distingue uma pessoa de outra. Acrescenta a mesma quantidade a quase todas as pontuações. Tira-a e a classificação quase não se mexe.

Uma distribuição dividida é uma pergunta a fazer o seu trabalho. Duas ou três opções com uma fatia real cada indicam que as pessoas diferem aqui, e a tua pontuação está a captá-lo.

Não esperes pela perfeição. O guia sugere fazer esta leitura depois das primeiras cinquenta respostas ou assim, e depois todos os meses. Antes disso, estás a olhar para ruído.

Guia gratuito · 28 páginasConstrói a versão honesta.Um diagnóstico que separa as pessoas, diz algo verdadeiro e te dá um motivo para começar a conversa.Obtém o guia gratuito →

Nada vai calcular isto por ti

Eis o que te pode surpreender. Presumirias que a tua ferramenta assinala as perguntas mortas. Não assinala.

O guia verificou toda a camada de análise de um produto de avaliação maduro. Nenhuma correlação item-total. Nenhum coeficiente de fiabilidade. Nenhum índice de discriminação. Nem um. Todas as plataformas da categoria mostram distribuições e deixam a interpretação contigo.

Curiosamente, é uma boa notícia para ti. Significa que não há nenhum painel mágico que te escape. O método é olhar para um gráfico por pergunta e ver se está desequilibrado. Fazes isso numa tarde.

Significa também que a competência é saber o que estás a ver. Quem constrói um scorecard adivinha. Quem constrói um bom lê.

Quatro formas como aparecem perguntas mortas num scorecard

As respostas desequilibradas são o sinal principal. Mas as perguntas morrem por razões diferentes, e a correção depende da causa.

O do cursor merece uma nota. Um cursor tem sempre uma posição. Por isso conta como respondido e vale meia pontuação antes de alguém lhe tocar. Nos teus dados é indistinguível de alguém que pensou e escolheu o meio. Se usaste cursores, trata os seus resultados com desconfiança.

O da escala é mais discreto. Mete uma pergunta de sim ou não num scorecard que vai de zero a quatro e ela pode ficar em silêncio dona de quase toda a dimensão, porque o sim vale cem ao lado de vizinhas que chegam a quatro. Nada dá erro. Só o descobres reparando que uma dimensão se mexe sempre que uma pergunta se mexe. A correção está no desenho, tratado em como ponderar as perguntas de um scorecard.

Porque cortar é a melhor edição que vais fazer

Reescrever parece produtivo. Cortar é mais valioso.

Cortar uma pergunta morta faz duas coisas ao mesmo tempo. Encurta a avaliação, o que aumenta a conclusão. E tira ruído, o que afia todos os resultados. Poucas edições rendem duas vezes.

Para um operador solitário há um terceiro benefício: menos para manter. Cada pergunta é algo que escreveste, traduziste e defendeste. Menos perguntas significa menos coisas que se podem partir.

Há também uma consideração escondida. A extensão decide que tipo de scorecard tens. O guia nota que os tamanhos se agrupam com força: de vinte a vinte e nove perguntas para o que se oferece, e de cento e vinte e cinco a cento e quarenta e cinco para o que se cobra. Se estás a construir o gratuito, cada pergunta que cortas mantém-te dentro do tamanho que funciona.

A pergunta a fazer a cada sobrevivente é: poderia isto dividir o grupo de forma plausível? Se a resposta honesta é "está aí para ficar completo", esse é o sinal.

Avaliação gratuitaQuão preso estás, a sério?Faz o Índice de Sufocamento Corporativo, a avaliação gratuita para saberes se estás pronto para ser um EUpreendedor.Fazer a avaliação →

Corta com cuidado, porque nada se recalcula

Agora a parte que morde. As pontuações são escritas uma vez, quando alguém completa o scorecard. Não há repontuação. Seja o que for que mudes, os respondentes passados ficam com o resultado que lhes foi dado.

Por isso cortar uma pergunta depois do lançamento não reescreve a história. Quem a respondeu antes continua a carregar o seu contributo. Quem fizer a versão mais curta depois é medido de forma diferente. Os teus números passam a vir de dois instrumentos ligeiramente diferentes, e nada regista qual deles uma pessoa fez.

Isso leva a alguns hábitos:

• Afina antes de levares tráfego. A altura mais barata para cortar é antes de alguém a sério a ter feito.
• Agrupa as alterações. Faz vários cortes de uma vez em vez de um por semana.
• Data cada alteração nas tuas notas. O sistema não o faz por ti.
• Nunca leias uma tendência através de uma edição. Uma mudança depois de cortares uma pergunta pode ser o corte, não o público.

O texto da pergunta podes editar em segurança. O das opções não. Mudar uma opção depois do lançamento é uma nova versão do instrumento, não uma edição, porque pode estragar traduções e quem está a meio. Se queres reescrever uma pergunta morta em vez de a cortar, muda o texto da pergunta e deixa as opções em paz, ou trata-a como uma nova versão.

Se cortar deixa uma dimensão magra, o problema pode ser maior do que uma pergunta. Como calibrar um scorecard trata de ler a dispersão de uma dimensão inteira e do que fazer quando ela nunca vai mudar o conselho de ninguém.

Uma tarde de leitura

1. Espera por cerca de cinquenta respostas. Menos do que isso é ruído.
2. Abre as respostas pergunta a pergunta. Anota as que têm uma opção com oitenta por cento ou mais.
3. Classifica cada pergunta morta pela causa. Fácil de mais, sinaliza a resposta, cursor, incompatibilidade de escala.
4. Corta o que puderes. Reescreve só o que tiveres de reescrever.
5. Escreve a data e a alteração nas tuas notas. Depois deixa em paz durante um mês.

Antes de começares a cortar, verifica que as perguntas que ficam alimentam alguma coisa. Uma pergunta com boa divisão e sem conselho por trás é uma versão menor do mesmo problema, que como escrever o plano de ação de um scorecard trata.

Guia gratuito · 28 páginasConstrói a versão honesta.Um diagnóstico que separa as pessoas, diz algo verdadeiro e te dá um motivo para começar a conversa.Obtém o guia gratuito →

Como é uma pergunta viva

Ajuda saber qual é o alvo. Uma pergunta saudável tem as respostas espalhadas pelas opções. Não necessariamente por igual. Mas pessoas suficientes escolhem cada uma de duas ou três opções para que a escolha diga algo sobre elas. Uma boa pergunta pergunta por comportamentos e pelo que existe, não por opiniões ou intenções. "Tens um processo escrito para integrar um novo cliente?" divide um grupo, porque uns têm e outros não. "Importas-te com a experiência do cliente?" não divide, porque toda a gente diz que sim. A segunda é a fonte mais comum de perguntas mortas: pede uma atitude quando devia pedir um facto.

Verifica também que nenhuma pergunta sinaliza a sua própria resposta certa. Se uma pessoa percebe qual é a opção que queres, escolhe-a, e a pergunta morre por boa educação. A cura é descrever o que as pessoas fazem de facto em cada nível, em termos simples, para que cada opção se leia como uma situação real e não como uma nota boa ou má.

Quando estiveres encravado, pergunta-te o que quererias saber sobre um desconhecido antes de falares com ele. As perguntas que usarias mesmo para distinguir uma conversa de outra estão vivas. As que só acrescentaste para parecer minucioso são as que se transformam em perguntas mortas num scorecard.

Avaliação gratuitaQuão preso estás, a sério?Faz o Índice de Sufocamento Corporativo, a avaliação gratuita para saberes se estás pronto para ser um EUpreendedor.Fazer a avaliação →

Perguntas frequentes

Como sei que uma pergunta está morta?

Olha como as respostas se distribuem pelas suas opções. Se uma opção concentra oitenta por cento ou mais, a pergunta não separa ninguém. Uma pergunta saudável tem as respostas divididas por mais do que uma opção.

A minha ferramenta de scorecard assinala perguntas mortas?

Provavelmente não. O guia verificou a análise de um produto de avaliação maduro e não encontrou correlação item-total, coeficiente de fiabilidade nem índice de discriminação. As distribuições lês tu.

Quando devo procurar perguntas mortas num scorecard?

Depois das primeiras cinquenta respostas ou assim, e depois todos os meses. Mais cedo do que isso, os números são magros de mais para confiar. Faz isso antes de insistires no tráfego, porque as alterações posteriores turvam o teu histórico.

Cortar uma pergunta muda os resultados antigos?

Não. As pontuações são escritas uma vez, na conclusão, e nada se recalcula. Quem já terminou fica com o seu resultado. Data a alteração nas tuas notas para nunca leres uma tendência através dela.

O método completo, com as listas de verificação, está em O Playbook do Quiz de Diagnóstico, um guia gratuito de 28 páginas.