上一讲我们介绍了信度测试的各种小工具,以及如何计算编码员间的测试结果(点击回顾:【DiVoMiner方法课7】不用1分钟就计算好信度,我做了这件事)。但在面对文本大数据分析时,由于数据量庞大,针对客观表达较为清晰的文本,使用人工编码就显得过于低效。所以使用计算机及大数据技术辅助进行算法编码便成为不二之选。但如何评估算法机器人的信度呢?这一期,我们将揭开它的“神秘面纱”。

在大数据的时代下,做分析的数据量与以前相比,是不可同日而语。算法编码的出现,不免让许多研究者看到了希望。因为算法编码的优点是极为高效,可以在很短时间内完成数据分析。算法编码是指采用算法或计算机挖掘数据内部规则,来得出数据编码结果的方式[1]。它可以由研究人员设定编码规则,让计算机代为执行编码过程。因此,面对庞大的数据量,想要处理客观性文本表达时,算法机器人的介入成为一种实现高效的必然之选。

 

什么是大数据算法编码?

大数据算法编码,实际上是借助大数据技术进行算法编码,但这个过程中,依旧有人工的介入,只是人工介入程度较人工编码少。大数据算法编码通常是通过人工编码作为基准来实现的。这个过程基于这样的一个假设:人类对文本的理解仍然优于机器,如果训练正确,人类将对文本做出最正确有效的分类[2]。所以有人工设定高质量的编码规则,加之良好的编码员培训,可确保在传统的人工内容分析中的数据质量水平,也被视作内容分析的标准做法。

说到这里,不难发现,实际上算法编码的准确性依然依赖于人工介入的部分,尤其是人工对算法的设定规则,这直接决定了数据的质量。而算法编码只是由算法机器人执行,指引机器对文本进行关键词的自动化标注和自动化填答选项,以完成自动编码,借此提高编码效率。

 

算法编码也需要考虑编码质量的问题?

学者Song等人[3]指出,如果不能确保用于验证的人工编码的质量,则研究人员就自动化程序的性能得出错误结论的风险要大得多。可见,在使用算法编码时,信度测试是十分必要的!

但在不少研究中,算法编码的信度评估却被忽略。学者Song等人[3]表示,他们分析了73项使用文本自动分析的研究,当中有37项报告使用人工编码进行验证,但只有14项充分报告了人工编码数据的质量,有23项完全没有报告任何编码员间的信度。

可见,在目前文本自动分析的应用中,仍存在着完全不考虑信度,或未严肃对待信度的错误认知。但实际上,在使用算法编码做文本自动分析时,首先需要评估的信度,就是编码员间信度,因为自动文本分析的编码效度,实际上是依赖于研究人员对编码规则的定义水平[4],而它也奠定了机器学习的数据质量水平。

但确保了人工编码的信度后,并非就完成了对算法机器人的评估。而是应该再进一步,评估人工定义的规则,在算法编码中实现的情况。

在操作实践中,有研究者试图采用人机比对的方法,检验算法编码是否可以达到可接受水平。程萧潇[5]的研究团队随机抽取1%的样本作为检验样本(107篇),执行人工编码,对照大数据算法自动编码结果,计算信度,所有类目准确度均在0.87以上,显示大数据自动编码结果良好,可采用该结果作为解读依据(关于这项研究的详情介绍,请戳这里)。这一步骤是为确保大数据算法自动编码的准确程度。

张文瑜教授(2020)在一项健康传播的研究中[6],也采用类似做法,例如,同样随机抽取了1%的数据作为比对样本,由4位经过训练的研究助理完成人工编码的部分,且编码员之间信度达到Cohen’s Kappa = 0.78 (p < 0.001), 95% CI (0.604, 0.948)。最终人机对比一致性达到80%,证明算法编码结果可接受。(关于这项研究的详情介绍,请戳这里)

可见,在使用算法编码的正确操作流程应该是:先确保人工介入部分,即人工制定之规则的信度,再将其应用于算法编码中,并比较算法编码与人工编码的一致性,在两者达到一致性后,才可可采用算法编码结果作为解读依据。

 

用什么工具可以实现呢?

说了这么多,肯定有不少读者关心,那我们到底可以用什么工具评估算法机器人的信度呢?噔噔噔噔噔,主角登场!

DiVoMiner®上的信度测试功能,除了能实现对编码员间信度的评估外,同样可以评估算法机器人的信度

 

下面详细给大家介绍一下具体的操作流程:

第一步:人工设定算法的规则

【类目管理】-【新建问题】。

添加【选项】及其对应的【关键字】,即可设定算法规则。

第二步:建立测试库

【数据管理】-【编码库】-【随机导入到测试库】,即可完成测试库的建立。

 

也可以选中某一条数据,点击数据右侧的【测试库】单独导入到测试库。

 

进入到【测试库】查看已导入用以进行信度测试的数据。

 

第三步:做测试编码

所有编码员进入到【信度测试】-【编码测试】中,阅读文本,填写页面右侧的编码簿,点击【保存】完成编码。

第四步:评估信度

在我们完成编码后,信度结果即可实时查看!

待所有编码员完成测试编码后,在【信度计算】中,选择编码员和信度指标,点击【计算】,得到编码员间信度结果。

 

其次,我们选择编码员、机器人和信度指标,点击【获取机器编码信度测试结果】,再点击【计算】,对比人机一致性,若信度达标,证明算法编码结果可接受,则可让算法机器人分析文本大数据。

 

小提示

在利用算法机器人完成编码后,研究者也可以在【质量监控】中,查看或进一步修正机器编码的结果哦。

赶快来在你的研究项目中,尝试一下用算法机器人帮你解决所有文本分析吧,再也不用担心海量的数据啦!