xinyu
2021年4月12日

导读：无论是传统的内容分析法还是大数据内容分析法，我们都需要两位或以上数目的编码员来进行编码工作，这些独立的编码员对一段信息或记录内容的特征（也就是记录单位）作出判断，并且达到一致的结论。这种一致性以量化方式呈现，称之为编码者间的信度。

 

上一讲我们介绍了什么是大数据技术辅助内容分析法，这一讲我们再来介绍一下使用大数据内容分析法中，一个非常关键、不可或缺的步骤——信度测试。

有的读者认为，使用大数据内容分析法，就是拿到数据后就可以直接编码。但没有经过信度测试的数据，真的能说服人吗？下面，让我们一起来看看，到底信度测试为什么如此重要。

什么是信度测试？

信度是指在研究过程中，测量数据所独立于测量工具的程度。即不同的研究者对同一现象进行重复测试后，所产生结果的一致程度。[1]
也就是说，如果测量过程要进行两次或多次，所得出的结论应该是类似的，这确保了内容分析的有效性或可靠性。
信度的测试可以在科学抽样的基础上进一步防范研究者对数据产生的影响，编码员之间信度可保证对数据较为一致的处理，使研究结果更为客观。

什么是编码间的信度？

在大数据内容分析中，我们需要两位或以上数目的编码员来进行编码工作，这些独立的编码员对一段信息或记录内容的特征（也就是记录单位）作出判断，并且达到一致的结论。这种一致性以量化方式呈现，称之为编码者间的信度[2]。
既然大数据内容分析的其中一个目标是相对客观地界定及记录信息的特征，那么信度就攸关重要。没有建立信度，大数据内容分析的测量只是空谈[3]。

为何信度如此重要？

编码者间的信度是衡量研究质量的标准，编码者之间的高度差异性表示薄弱的研究方法，包括差劲的操作定义、类目和编码训练[4]。通常我们研究的信息有显性的内容（manifest content）和隐性的内容（latent content）。对于显性的内容，例如版面面积或者消息来源，很容易以客观的判断来达至高度一致性。但是，对于隐性的内容来说，例如报道态度或者价值观，编码员必须根据他们自己的思维系统作出主观的诠释。这样的话，编码员之间的相互主观判断变得更加重要，因为这些主观的判断结果要尽可能也让其他读者有相似的认知[5]。
从现实的角度来看，编码员间的信度至为重要，因为高信度意味者决策者作出错误决策的机会相对减少[6]。编码员间的信度乃衡量一个内容分析研究效度的必要条件（虽然不是充分条件），没有信度，那么，该研究的结论便值得怀疑，甚至显得毫无意义。

怎么做信度测试？

可以利用必要的工具来计算信度指标，如手动（利用公式计算）或计算机程序。 我们以大数据内容分析法中进行编码员之间信度评估为例，具体的操作步骤如下：
第一，依据编码薄制作编码指引，编码指引需明确统一。帮助编码员熟悉议题，理解编码类目，保证所有编码员均理解类目所指代的含义。
第二，进行编码测试。选取少量样本作为测试编码之用的样本，这部分样本的测试编码过程中，各编码员需独立编码，不能相互讨论或指导。若使用了机器编码，则直接执行机器编码的信测测试（DiVoMiner®上只需点击该按钮即可一键完成机器编码的信度测试）。
第三，进行编码校正。测试编码结果如果未能达到理想信度，需重新测试编码。重新测试之前，对编码员再次进行培训和指导，尤其针对编码结果差异较大之类目，需再次给予说明。若有机器编码的部分，则需重新检查并修正编码簿各选项的关键词，尽可能完善类目的选项，再重新执行机器编码信度测试。
第四，正式编码。当所有编码员达至理想信度，即可开始正式编码。
编码员及机器编码信度测试流程
一个完整的信度报告应该包括以下信息:
  • 信度分析的样本数及理由。
  • 信度样本与总样本的关系：是总样本的一部分还是额外样本。
  • 编码员资料：人数（须为2或更多）、背景，研究员是否也是编码员。
  • 每名编码员的编码数量。
  • 信度指标的选择和理由。
  • 每个变量的编码员间之信度。
  • 编码员的训练时间。
  • 在总样本的编码过程中遇到不同意见时的处理方式。
  • 读者可以在哪里得到详细的编码指引、程序和编码表。
  • 要报告每一个变量的信度水平，不要只报告所有变量的整体信度。
小提示

目前，大概有39种不同的同意度指标[7]，传播学界常用的有Percent agreement，Holstis Coefficient Reliability，Cohens kappa(k)，Scotts pi(π)，Cohens kappa(k)，Krippendorffs alpha(α)。Holstis Coefficient Reliability是当前最流行的指标。

 

那么，怎么计算信度呢？

根据公式手动计算或者运用工具计算，比如专门的信度结果计算软件或小程序(AGREE, PRAM, ReCal），或统计分析软件自带的一些信度结果计算功能（SPSS）。

 

参考文献

[1] 艾尔·巴比（2005）。社会研究方法。邱泽奇，译。北京：华夏出版社，137-140；迈克尔·辛格尔特里（2000）。大众传播研究: 现代方法与应用。刘燕南，等，译。北京:华夏出版社，94-97；Zeller, R. A. (1979). Reliability and validity assessment. Beverly Hills, CA: Sage, 12.

[2] Lombard, M., Snyder-Duch, J., & Bracken, C. C. (2004). A call for standardization in content analysis reliability. Human Communication Research, 30(3), 434-437.

[3] Neuendorf, K. A. (2002). The Content Analysis Guidebook. Sage Publications Inc., California.

[4] Kolbe, R. H. & Burnett. M. S. (1991). Content-analysis research: an examination of applications with directives for improving research reliability and objectivity. Journal of Consumer Research, 18(2), 243-250.

[5] Potter, W. J., & Levinedonnerstein, D. (1999). Rethinking validity and reliability in content analysis. Journal of Applied Communication Research, 27(3), 258-284.

[6] Rust, R. T., & Cooil, B. (1994). Reliability measures for qualitative data: theory and implications. Journal of Marketing Research, 31(1), 1-14.

[7] Popping, G. (1988). Stone parting device. EP0283674.

Post Views: 700
Leave a comment In博易-博易干货