大数跨境
0
0

考试的测量学基础知识——标准设定

考试的测量学基础知识——标准设定 江西省人力资源开发研究院
2021-10-21
0
导读:对于考试来说,分数线设立是测验设计开发中最关键的问题之一,可信赖的分数线可以增加测验的效度和信度。

点击蓝字

关注我们

考试是一种常见的测量形式,其作为一门科学,拥有深厚的理论基础,了解理论基础有利于考试工作的开展,研究院作为学术性机构,致力于加强考试科学知识的普及,本公众号将会陆续推送考试科普知识,供各考试工作者参考学习。

对于考试来说,分数线设立是测验设计开发中最关键的问题之一,可信赖的分数线可以增加提高测验的效度和信度,本文介绍了标准设定的常规步骤、一些经典的标准设定方法,以期对考试测验设计工作有所启发。

标准即衡量事物的准则,在心理与教育测量研究领域中,标准更多地涉及受试者的表现。对于任何一种标准参照考试而言,都必须根据受试者的表现,对其达标与否、合格与否、掌握与否进行判断,这就需要确定切点(分界分数)。切点将考试分数分布划分为两类或两类以上,两类的划分如达标与未达标、及格与不及格等,两类以上的划分则诸如等级A、B、C、D、E等。确定分界分数的过程称为标准设定(standard setting),其目的在于确定一个能够引导决策的准则。

设定标准或切点的方法不是一种凭直觉推测正确解答的技术,它是一种系统性的方法,包括搜集判断价值的依据、对标准达成共识及对单个分数的共识等内容。一般情况下,标准设定的步骤如下:

确定标准的类型

标准通常有两种类型,相对标准和绝对标准,选用哪一种标准与考试目的有关。

绝对标准以答对一定数量试题或获得一定分数来确定切点,如满分100分的考试,取得60分为及格就是绝对标准;绝对标准更适用于以测试能力为目的的考试,如学生的期末考试、资格证书考试、执照考试等。

相对标准以一定数量或百分比的应试者来确定切点,如考试成绩前15%的人等级为A,前15%~50%的人等级为B。相对标准较适用于选拔性考试。

确定设置标准的方法

选择合适的标准设定方法是构成考试效度证据的重要来源。

Nedelsky法
这种方法仅适用于多项选择测验。方法要求专家考察测验中每个题目的选项,判断最低能力应试者在每一题上有能力排除的错误选择项,从而计算正确回答的可能性,计算出所有题目正确回答可能性之和,就是测验分数分界点。
Angoff法
适用于多种题型,在实际运用中更受欢迎。方法要求专家考察测验中每个题目,估计每个题目最低能力者正确回答的概率,每位专家对测验所有题目估计的概率求和,即为该专家评判的分界分数,将所有专家的分界分数求平均,即为整个测验的分界分数。
对照组法
选出行业内专家和教育测量专家,针对所测内容,界定掌握组和不掌握组具有的知识技能水平,根据界定去找出两组被试者并实施测验,获得两组测验分数, 将这两组受试者测验分数的频数分布绘制在同一坐标系中,这两个频数分布的交叉点就是测验的分界分数。

选择专家,举行设定标准的会议

邀请专家时,需要考虑专家的研究领域、所处的地理位置、性别、年龄、经历、观点等。如为一项医师资格考试设置标准,除了必须邀请医学教师、专科医生等专业相关人士,还应该邀请相关专业的教育测量专家。

举行标准设定会议时,需要为标准设定专家提供考试试卷、历年考试分界分数线、相关统计数据等材料,同时,还需要对参与专家进行培训,让其熟悉所使用的标准设定方法的原理和步骤。

计算合格标准

合格标准的计算根据所采用的计算方法而有所不同,通常是取专家的平均数。有些情况下,需要采用中位数来代替平均数,或者去掉一个最高分和一个最低分也许更合理。作为计算标准的一部分,最后还要计算可信度系数或可重现性系数,以判断设定标准的过程是否充分可信或者可重现。

内容参考

向冠春.(2013).标准设定与等级划分,成人教育,1,14-20

《心理与教育测量》

《中国考试》

推荐阅读

点击查看更多考试与测评知识干货

考试的测量学基础知识——难度


07-28

考试的测量学基础知识——区分度


07-28


关于研究院

江西省人力资源开发研究院是专业从事人才测评、社会化考试、职业水平测试、人力资源管理咨询的非盈利性学术机构。为更好地满足和服务社会化考试命题需求,我院很早就专门成立了人才测评与人事考试研发中心,该中心创建“命题中央厨房”模式,是推动我国社会化考试命题事业走向职业化、规模化、标准化的创新、探索和重要实践。

多年来,不断整合全国人才测评、人事考试及人力资源专家和团队的研发力量,学术服务能力显著提升。随着我院学术服务的知名度、美誉度、影响力的扩大,已与全国多个省级人才市场、人才服务公司及社会化人才机构建立了学术合作机制。多年来专注学术支持、学术交付、学术研发,在全国形成了一张靓丽的“江西名片”,在我院支持与协作下的“南昌命题”、“湖北命题”、“四川命题”、“国培命题”、“中南测评”、“西安命题”声誉日隆。

使命:开展应用研究,助力经济发展。

愿景:成为中国人力资源开发领域具有影响力的专业研究机构。

价值观:务实、笃行、博爱、为公。



联系我们

邮箱:da0002@ncrczpw.com

电话:010-5927 1212  0791-8656 3608

网址:http://www.jxhrm.com/

【声明】内容源于网络
0
0
江西省人力资源开发研究院
江西省人力资源开发研究院是专业从事人力资源科研的社会化服务机构,重点为人事人才政策改革、行业研究提供理论支持。学院现拥有百名管理咨询专家,为公共政策的形成与决策提供理论支撑和参考依据,为社会提供专业化的人力资源研发服务。
内容 64
粉丝 0
江西省人力资源开发研究院 江西省人力资源开发研究院是专业从事人力资源科研的社会化服务机构,重点为人事人才政策改革、行业研究提供理论支持。学院现拥有百名管理咨询专家,为公共政策的形成与决策提供理论支撑和参考依据,为社会提供专业化的人力资源研发服务。
总阅读3
粉丝0
内容64