
4.使用经过验证的秤
查明您要确定的特定洞察力并进行反向工作以选择正确的度量以产生可行的结果,这是一种独特的智力技巧。 最令人沮丧的情况是您获得了统计上的意义,但对于原因却一无所知。 在这里,由主题专家组成的社区可以帮助您权衡初始实验设计中措施的优缺点。 在建立该网络之前,您可以先使用经过同行评审的经过验证的量表。
资源: 快速浏览 社会科学测量仪器数据库, 您将获得最经常引用的量表。 一个例子是“ 生活满意度量表” (SWLS),这是一种李克特式量表,用于衡量主观幸福感的生活满意度成分。
5.考虑参与者人数是否可能导致结果偏斜
应该从实验设计的开始就考虑达到统计显着性的目标。 一个典型的例子是测试电子邮件的打开率。 有没有想过为什么只听说A / B测试而不是A / B / C / D / E测试? 电子邮件的平均打开率介于15%到30%之间,具体取决于行业。 在分配给整个列表之前,需要一个庞大的电子邮件列表来实现对A / B / C / D / E的测试发送的统计意义。 如果您总共只有2,000封电子邮件,您将无法实现对五个不同测试用例的重要性测试。
资源: 通过这些视频教程来提高统计技能:概述- 速成课程统计 //深入- 社会科学统计简介 (8个讲座)。
6.投资功能强大的调查软件
为了从您的深思熟虑的研究问题中获得可靠的结果,请购买专家调查软件。 大多数学术设置的标准是质量。 问题框架的选择范围广,可以帮助您为参与者塑造调查体验。 从嵌入式网页(用于查看调查中的站点)到经过验证的调查响应(节省数据清理时间)的功能有助于保持结果的真实性。
资源: Qualtrics 提供了一个免费层,可以创建一个无限制问题且最多100个答复的调查。

7.使用MTurk设置基线
如果您正在寻找快速的参与者池,则可以将Amazon Mechanical Turk(MTurk)用作有用的基准。 MTurk市场提供按需劳动力,以完成您的调查或完成任何需要人工智慧的任务。 尽管不应将结果视为法则,并且在该领域进行复制是最佳实践,但MTurk的响应可以确认设计方法并验证假设。
资源: 在此处 了解有关Amazon Mechanical Turk的更多信息 ,或收听Planet Money永恒的播客,标题为“ 机器内部的人 ”。
8.验证结果
结果已经显示出来,您已达到统计意义,并且您的研究问题已得到解答! 但是测试还没有结束。 正如您选择在文献回顾期间测试假设一样,您必须在将结果应用于您的业务时对其进行验证。 重复您的研究过程,以确定哪些关键结果(应用程序下载,达到销售目标,产生的新业务等)将表明结果已得到验证。
资源: 如果您的目标是参与度,那么 Crazy Egg , Optimizely 和 Usabilla 是三个高度评价的可用性工具。
奖励提示:找到你的部落
向您的公司介绍您的研究发现,以展示其影响。 从各个部门招募一个研究委员会,以促进协作并实现最均衡的研究。 分享研究文章和行业趋势,以促进持续的对话。 学习很快就被对同一主题感兴趣的其他人所包围。
资源: 如果您是在小型创业公司或远程公司工作,请签出本地聚会组。 我最近加入了 动作设计网络 的奥斯丁分会, 该分会在全国各地都有分会。

当与具有这么多领域专业知识的科学家一起工作时,可以很容易地假设他们对您所有的业务问题都有答案。 但是即使在启动实验室,答案也总是要测试。 尽管可以将先前实验中找到的解决方案应用于您的独特问题,但如果不测量结果,就无法保证。