2020年5月20日

首先，小编要发布一个重磅福利消息：


DiVoMiner®权限免费升级！

学习话题增加配置2个编码员权限！

可以免费组建您的研究团队！

正式标准话题编码员权限增加到6个！

团队容量升级！

 

升级后的DiVoMiner®更强大！快来试试！

 

关于编码员信度测试，小编前期已向各位介绍了，欢迎回顾！

但还是有用户向我们反映，希望能提供信度测试更加详尽的说明。今天呢，小编邀请三位同事作为编码员进行案例话题的实操，以下将分享下在信度测试中常碰到的疑问（大坑），让大家可以更快跨过这个小障碍。

 

疑问一：研究人员可接受的理想信度有没有标准？


编码员间的信度标准是什么？取决于研究的需要，总的来说，研究人员可接受的误差越大，信度就越低。根据研究经验，客观性类目，如人名、机构名等，信度结果要求较高；主观性类目，如意见态度等，信度要求可相应适度放宽。

根据多数已发表的内容分析法研究结果显示，当用Holsti’s Coefficient Reliability（霍斯提信度测试）时，可接受信度在0.9或以上，而用Scott’s pi等其他类型公式计算，可接受信度在0.75或更高。


目前平台上提供了四种常用的信度指标选择，但无论何种情况，研究员在正式报告中需要有合理的解释。以下为四种常用信度指标的说明：


值得说明的是，Krippendorff’ s alpha可测试两位或以上编码员的编码结果是否具有一致性，也可测试同一位编码员不同时间重复编码的结果是否一致。


疑问二：做了信度测试未能达到理想值要怎么处理？


小编选择了【案例话题】幼儿园虐童事件危机公关，按照指引，在【编码库】-将测试数据【随机导入到测试库】，然后安排编码员进行测试编码。编码完成后在【信度测试】中计算系数结果，再在【编码跟踪】里查看编码结果。



案例话题中的类目，已经是根据传统的理论或经验、研究成果进行了类目的设计，对于编码，只要让编码员根据同一标准对资料进行编码，然后计算编码员间的信度，以达到防范研究者对数据产生的影响，保证编码员对数据较为一致的处理，使研究结果更为客观之目的。在采用Cohen’s Kappa方法对编码员间信度测试之后，小编发现整体信度未能达到理想值，因此需要对问题进行定位。


首先，检查是否有定义不当、定义不清的类目

在实践中，有一种由研究人员根据假设自行设计的类目，那就存在很多不确定性，需要在编码过程中进行类目的完善。因此建议研究人员在制定初步的类目基础上，让编码员进行实验性研究，了解其合理性，研究人员再进行修订，试用，直至发展出客观合理的分析类目和编码明确的操作定义。

 

其次，对编码员进行培训，识别出意见不同的编码员

在对类目进行详细定义之后，小编对编码员进行了培训，帮助编码员准确了解类目的定义和范围，让他们能准确掌握编码的技巧和方法。在这个过程中，小编发现，编码员A在接受培训的过程中，仍不能与其他人在类目的标准保持一致的理解，因此让其退出研究项目。

 

在此次信度测试复盘的过程中，小编已帮大家明确了这两种做法，在这个过程中还有什么问题没解释清楚，欢迎留言，会在留言之后回复的哦。


参考文献：

  • Eugenio, B. D. , & Glass, M. . (2004). The kappa statistic: a second look. Computational Linguistics, 30(1), 95-101.

  • Fleiss, J. L. , & Cohen, J. . (1973). The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability. Educational and Psychological Measurement, 33(3), 613-619.

  • Hayes, A. F. , & Krippendorff, K. . (2007). Answering the call for a standard reliability measure for coding data. Communication Methods & Measures, 1(1), 77-89.

  • Krippendorff. K. (2004). Reliability in Content Analysis: Some common Misconceptions and Recommendations. Human Communication Research 30, 3: 411-433.

  • Scott, W. A. . (0). Reliability of content analysis:Public Opinion Quarterly, (3), 3.

  • 周翔。（2014）。传播学内容分析研究与应用。重庆：重庆出版社。


Post Views: 720
Leave a comment In博易-博易干货