校准评分卡:当所有人都在同一档
怎么校准评分卡:如果大多数人落在同一个级别,错的是切分点,不是答题者。跑一遍四步循环,快速修好,别急着怪你的受众,也别急着重写所有的问题和选项。
怎么校准评分卡:读结果的分布,移动界限直到每个级别里都有人,检查各级别仍然从零到一百严丝合缝、没有缺口也没有重叠,然后再看一遍。如果百分之八十的人落在同一个级别,错的是切分点。
如何用真实的人校准评分卡
你没法在纸上设计出一份有区分力的评分卡。你能设计出一份看起来合理的。然后拿真实的人去修正它。
大多数制作者从不校准评分卡。他们发布,收集完成数,然后再也不看。这就是一份平庸的评分卡和一份好评分卡的全部区别,而它只花一个下午。 校准主要是算术,不是写作。对时间有限的人来说,这是最好的一种修复:没有新文案,没有新问题,只有你能移动的数字。
等到有东西可读
别拿十个人来校准。指南的节奏是前五十来份完成数之后,然后每月一次。 在那之前你读的是噪音,而噪音会诱使你去修并不存在的问题。在那之后,出现的规律才是真的。
开始之前有一条规则:在引流之前调好。上线后做的每一次改动,都会搅乱你的历史,最后一节会解释。所以校准的最佳时机,是第一小批真实答题者之后、你把评分卡推到任何喧闹的地方之前的那段安静时间。
免费指南 · 28 页做诚实的那一版。一份能区分人群、说真话,并给你开启对话理由的测评。获取免费指南 →四项阅读,四个结论
有四样东西要读。每一样都有一个结论,也都指向不同类型的修复。
| 读这个 | 如果你看到这个 | 它意味着 | 这样做 |
|---|---|---|---|
| 校准评分卡时的结果分布 | 百分之八十的人在一个级别。 | 切分点错了,不是答题者。 | 移动界限,让每个级别里都有人。 |
| 每个维度的跨度 | 中间那一半答题者的跨度不到十分左右。 | 这个维度永远不会改变任何人的建议。 | 并入相邻的维度,或者写更难的问题。 |
| 最弱的维度 | 大约百分之七十的人,最弱的都是同一个。 | 披着五件外衣的单一主题诊断。 | 检查你的维度是不是在测同一件事。 |
| 每个问题的答案 | 某个选项占了百分之八十或更多。 | 一个无效的问题。 | 砍掉它。见下面的姊妹篇。 |
第四项在如何找出评分卡里的无效题目里单独讲了。这篇讲的是另外三项,因为它们是在整份工具的层面上起作用的。
最常见的发现,也是最容易的修复
假设你设计了五个级别,百分之八十的人落在其中一个。哪里出了问题? 不是人。指南对此很直白:错的是切分点,不是答题者。人就是那个样子。你的界限放在了错误的位置,对不上他们实际产生的分数。 这是遥遥领先的最常见发现。也是最容易修的,因为它是算术,不是写作。你不用重写任何一个问题。你只是在移动一条线。
本能是怪受众。“我的人都处在同一个阶段。”也许。但一份谁也分不出来的评分卡,并不是在告诉你你的受众是一样的。它是在告诉你,它分不出他们。先修工具,再问受众的问题。
线一开始应该放在哪里这个更大的问题,在如何设置评分卡的分档界限里。校准,是你的第一次猜测撞上现实之后要做的事。
校准评分卡的循环
指南给校准起了个名字,它是一个四步的循环。
- 读分数分布。人们实际落在哪里?
- 移动界限。移动它们,直到每个级别里都有人。
- 检查各级别仍然严丝合缝。从零到一百,没有缺口,没有重叠。
- 再看一遍分布。它有没有按你想要的方式散开?
第三步是人们忘记的,也是最疼的。当你拖动一条界限时,可能在它后面留下一个缺口,或者让两个档位相接。相接的界限会匹配两次,由排序决定谁赢,也就是靠碰运气。缺口更糟。指南描述过一个带洞的阶梯,在同一页上,标题里不显示结果,建议里却显示最好的结果。
修复是一种习惯。把每个档位写成从上一档结束处再高百分之一分开始。然后在每次编辑时,检查整个区间。指南里有一个真实的例子:一个恰好得四十分的人,几个月来被告知自己的水平是“良好”,因为有一行早开始了百分之一分。没有报错。它只是先被匹配上了。
当你的数字互相对不上
有一件事会在你第一次重新校准之后让你困惑,所以我现在就说。
重新校准通常不会回头改变过去的答题者。他们保留当时得到的结果。所以你编辑器里的人数,完全可能和一个实时重新计算的图表对不上。两者都没坏。
编辑器报告的是人们被告知的。图表报告的是新的界限会说什么。两者都是真的。它们回答的是不同的问题。
在据以行动之前,先决定你读的是哪一个。如果你想知道你的受众在新的线面前是什么样,用实时图表。如果你想知道对一个可能回复你邮件的真人,实际承诺了什么,用存下来的结果。
免费测评你到底被困得有多深?完成职场窒息指数——这项免费测评告诉你是否已准备好成为独立创业者。开始测评 →改一次,写下来
没有任何东西会重新计算,永远不会。分数在完成时写入一次。没有重新打分。对选项分值、权重或级别界限的每一次改动,都会让工具分叉,而且没有任何东西记录某个人做的是哪个版本。
你的分析会悄悄按新的量表重新解读历史。重新校准后一周里你的数字出现的变化,可能是校准造成的,而不是你的受众。
所以养成三个习惯:
- 把改动攒成一批。一次坐下来,做完所有编辑,然后别动它。
- 在你自己的笔记里给每次改动标上日期。工具不会替你做。
- 永远不要跨过一次编辑去读趋势。在日历上画一条线,只在每一侧内部比较。
做完之后还要检查一件事。每个结果都应该仍然有一个跟进在等着它。一个另一头没人的结果,是最常见的无声失败。没有报错。它只会看起来像安静的一周。这背后的道理,以及怎么写一个值得拥有的跟进,在如何写评分卡行动方案里。
一次校准,从头到尾
- 拉出结果。数一数每个级别里有多少人。
- 说出问题。一个级别过载、一个级别是空的、一个维度太窄,或者某个维度总是最弱。
- 只改一次。移动线。必要时合并或加强一个维度。
- 检查铺满的情况。零到一百,没有缺失,没有重复。
- 写下日期和你改了什么。
- 检查跟进。确保每个结果仍然有一个在等着。
然后关掉编辑器,一个月。想把评分卡校准好,回来时要带着新的答题者,而不是想再折腾的新冲动。
免费指南 · 28 页做诚实的那一版。一份能区分人群、说真话,并给你开启对话理由的测评。获取免费指南 →提问的节奏
校准不只关乎分数。完成率最大的杠杆,是问题的节奏,而你控制着它。
每屏出现一个问题。单选题在片刻之后会自己往下走。多选题、滑块和文本框都需要按一下。所以改变一个问题的类型,就改变了整个测评的实际节奏,而几乎没人把这当作一个设计选择。让主干保持单选。有意地把会打断流程的题放在靠近末尾。
顺序比看起来更重要。问题的顺序通常就是维度的顺序,每个问题上方印着维度名称。所以你排的不是问题。你排的是章节。以最容易、最让人舒服的维度开场。把最难的放在第三或第四个,过了人们已经投入的那一点,又在他们累之前。
进度也是说服。它通常由位置算出来,所以二十五个里的第一题,已经读起来像完成了一小部分。圆点和步骤条是诚实的,但超过十来个问题就会变得令人生畏。超过二十个,就用连续的进度条。如果结果看起来健康、完成率却很低,在碰界限之前先看这里。
免费测评你到底被困得有多深?完成职场窒息指数——这项免费测评告诉你是否已准备好成为独立创业者。开始测评 →常见问题
校准之前需要多少份回答?
指南的起点是大约五十份完成数,之后每月复查一次。低于这个数,规律大多是噪音,你有可能去修没坏的东西。
如果校准评分卡时发现大多数人落在一个级别呢?
那就是切分点错了,不是答题者。这是最常见的发现,也是最容易的修复,因为你是在移动界限,不是重写问题。移动它们,直到每个级别里都有人。
重新校准会改变旧的结果吗?
通常不会。过去的答题者保留他们当时得到的结果,所以编辑器里的人数可能和实时图表不一样。两者都可能是对的。记下改动的日期,这样你就不会跨过它去比较。
如果同一个维度对几乎所有人都最弱呢?
你的评分卡可能是一个主题披着几件外衣。这通常意味着几个维度测的是同一个底层的东西,所以检查它们能不能合并。
完整的方法和清单都在《评分卡手册》里,这是一份免费的28页手册。
你到底被困得有多深?
完成职场窒息指数——这项免费测评告诉你是否已准备好成为独立创业者。