xinyu
2021年4月12日

导读：上一讲我们介绍了大数据内容分析法中，不可或缺的步骤——信度测试。（点击回顾：【DiVoMiner研究方法课6】做大数据内容分析时，不可不做信度测试！）看完之后，有不少读者会好奇，做完信度测试后，又应该如何计算测试结果呢？这一期，小编介绍一下我们如何运用工具来帮助我们便捷地完成信度测试。

在正式介绍工具之前，先和大家回顾一下信度测试的基本流程： 

 

本文内容主要介绍如何计算信度系数？

当有两位编码员时，我们如何计算两位编码员之间的信度？
★方法一：
每两位同学登录同样的内容，然后依以下步骤进行信度计算：

  1. 登录的内容总件数：X
  2. 统计两位同学相同答案所占的比率：Po
  3. 计算各个答案所占的比率：a%，b%，c%，d%
  4. 将（3）的比率平方，然后加总 ：
    (a%)² + (b%)² + (c%)² + (d%)² =Pe
  5. 代入以下公式计算出最终结果即可。
Po: 实际一致性Pe: 期望一致性

Pi: 信度系数

 

★方法二：
R: 相互同意度M: 两位编码员编码结果相同的次数

N1: 第一位编码员编码的次数

N2: 第二位编码员编码的次数

   当有多位编码员时，我们需要计算复合信度：

CR：复合信度n：编码人员数目

R为方法二求得

大家可以找到两位或多位编码员将信度测试的编码结果代入到以上的公式中进行计算。但相信不少读者看到这些公式的时候，就已经头皮发麻….

机智的读者会说：“都什么年代了？还手动计算？有专门的计算工具好吗？！”确实，除了这样手动计算信度系数外，我们也可以选择使用计算信度系数的工具。

 

有哪些工具可以帮我们计算信度？

★专门软件和小程序

  •   比较早期的是1984年的AGREE，用来计算Cohens kappa的付费软件。
  •   还有专门计算Krippendorffs alpha的Krippendorffs alpha 3.12a。
  •   较新的是可以处理多位编码员并可计算多种信度指标的PRAM，包括Percent agreement、Holstis reliability、Scotts pi等。
  •   网页版小程序ReCal，可在网页上直接在线计算信度，处理多位编码员，仅支持上传CSV和TSV文档，一次只能计算一个题目的结果。
★统计分析工具
信度是数据分析和文本分析过程中不可缺少的一环，因而一些统计软件中往往会嵌入信度分析的功能，如在SPSS统计分析软件中，可以计算Cohens kappa，但在信度计算的环节，对表格的形式有一定的要求。
其他软件，如Simstat、QDA Miner v1.1都自带了信度计算的功能，可下载体验。以上的工具都是在信度测试过程中，计算信度结果时发挥作用的。

但如果按照传统的计算方法，我们需要借助的软件也实在是太多了吧？！在争分夺秒的时代，还要耗费大量的精力去学习不同的工具，时间成本确实是有点高。那么，是否有个工具可以让我们进行信度测试的整个流程呢？

当然有！！DiVoMiner®可助你一站式解决所有问题。

DiVoMiner®上的信度测试功能，为大家提供了从信度测试的准备工作开始到信度测试完成的整个流程，确保大家在平台上可以逐步进行信度测试，直至完成整个测试流程，而且每一个步骤都是透明可追踪的。不论你是第一次做信度测试，还是已经熟练了整个测试流程，都可以让你方便快捷地完成。

下面详细给大家介绍一下具体的操作流程：

 

第一步：建立测试库

【编码库】-【随机导入到测试库】，即可完成测试库的建立。
也可以选中某一条数据，点击数据右侧的【测试库】单独导入到测试库。
进入到【测试库】查看已导入用以进行信度测试的数据。
第二步：做测试编码

所有编码员进入到【信度测试】-【编码测试】中，阅读文本，填写页面右侧的编码簿，点击【保存】完成编码。
第三步：与其说计算信度系数，不如说查看信度系数

因为在我们完成编码后，信度结果即可实时查看了！
待所有编码员完成测试编码后，在【信度计算】中，选择编码员和信度指标，点击【计算】，得到信度结果。目前平台上提供了四种常用的信度指标，大家可任意使用哟~
小提示

总是有读者询问小编，到底信度结果要达到多少才能算是“理想信度”呢？其实，在学术上关于信度达标的硬性标准未有定论，信度会依据研究需求以及类目难度（主观性类目难度较大）有所浮动。下面是四种信度指标的可接受水平的参考范围，供大家了解。

第四步：编码校正

【编码跟踪】中便捷查询编码员的测试编码情况，看到编码差异，方便校正。
如编码员之间信度达到合理水平，则可以进入正式编码。如系数不佳，则需要重复多次测试编码，直到信度系数达致可信水平。
小提示

针对信度系数较低的题目，需对编码员进行重新的培训和指导，重新进行信度测试。
重建测试库的方法是，在【测试库】中【清空测试库】，测试库中的所有内容编码结果将随之全部清空。重新在【编码库】建立测试库，各编码员在新的测试库中重新进行独立的编码。
赶快来在你的研究项目中，加入编码员，开始信度测试吧！ 

Post Views: 432
Leave a comment In博易-博易干货