罗家国1，邱庚香2，潘莎莎3
（1.江西理工大学华文教育研究中心，江西赣州，341000；2.江西理工大学资产管理处，江西赣州，341000；3.江西理工大学校长办公室，江西赣州，341000）
[摘要] 工科实践教学是卓越工程师培养的重要环节，贯穿于卓越工程师培养的全过程。因此，筛选与规范分析的方法和过程，科学地开展实践教学质量的信度分析，对于准确地评判其实践教学效果并以此改进和调整实践教学尤显重要。详细介绍了采用克伦巴赫（τ?J?Cronbach’s）系数法进行实践教学评价信度分析的方法，并全面具体地剖析根据信度分析，改进“工科课程设计质量评价”的实践过程。实践证明，此方法操作简便、易于掌握，尤其适用于计算机快速分析处理，效果较为理想。
[教育期刊网 http://www.jyqkw.com
关键词] α 系数法；实践教学；质量评价；信度分析
[中图分类号] G640 [文献标识码] A [文章编号] 1674-893X(2015)02?0140?04
[收稿日期] 2015-01-16；[修回日期] 2015-04-22
[基金项目] 2012 年江西省高校省级教改课题“基于ISO9000 的工科实践教学管理体系的研究与实践”（赣教高字(2012)82 号）(JXJG-12-6-2)
[作者简介] 罗家国(1958-)，男，江西赣州人，江西理工大学教授，主要研究方向：高等教育管理，计算机应用；邱庚香(1970-)，男，江西赣州人，江西理工大学副教授，主要研究方向：实践教学管理，信息与信号处理；潘莎莎(1985-)，女，江西赣州人，江西理工大学讲师，主要研究方向：英语教育、思想政治教育
工科实践教学是卓越工程师培养的重要环节，贯穿于卓越工程师培养的全过程，因此，准确地评判其教学质量并以此改进和调整教学尤显重要，信度分析就是确保这种评价真实可靠的重要分析工具。信度主要是指评价结果的一致性、稳定性及可靠性，信度系数愈高表示该评价的结果愈一致、愈稳定可靠，评价结果愈令人信服，反之也然[1]。多年来，笔者在“工科实践教学(课程设计)质量评价”实践中，通过信度分析指导和改进实践教学评价工作，收到了一定的效果。现以2010/2011学年1 学期、2011/2012 学年1 学期前后两次评价结果对照为例，详细介绍这种依据对照组教学质量评价的信度分析，改进“实践教学(课程设计)质量评价”的方法。
一、实践教学质量评价信度分析的主要方法检验评价信度的方法很多，通常有以下几种：
（一）重测法
重测法是以同一测试工具在两个不同的场合施行于相同的对象，再求其结果的相关。由于对同一样本前后测试两次，被调查者易受外界影响的干扰，所以往往实施重测是比较困难的。例如，由于课程设计多半是在学期结束前后进行，教学时间相对较短，这时许多理论课程已经结束，学生不是全力以赴备考，就是归心似箭，因此很难保证学生能认真地对待第二次测试。
（二）复本法
复本法是编制两套类型相同、数量一致、难度相当，甚至提问方式都类似的测量指标体系，由同一组评价者同时用两套标准进行评价，然后求两套评分结果的相关系数。但是通常操作时，要制作令人满意的复本是相当困难的。
（三）折半法
折半法是将一次测量的内容分为基本等价的两部分，把它们看成是两次独立、短期、内容相似的测量，再求两部分测量成绩的相关性，进而估计整个量表的信度。但是，人为地将指标体系一分为二，势必造成指标数目减半，那么在相同条件下，必然会影响其评价结果的可靠性[2]。
（四）克伦巴赫系数法
克伦巴赫系数法即α 系数法，是克伦巴赫于1951 年在《测验的内在结构》一文中提出的，其数学模型为：
M——评价指标数目
Si——第i 个指标所得分数的方差
S——整个指标体系所得总分的方差
克伦巴赫系数法是衡量心理或教育测验可靠性的常用方法，此方法的优点在于易于掌握，且不需进行两次实际的测量与评价[3]。
二、以对照组评价信度分析改进实践教学质量评价的实践案例
根据前述几种信度分析方法的特点，在课程设计评价实践中，我们分时间段，选择了α系数法来开展对照分析实验。
（一）信度分析步骤
1. 实验研究的方案设计思想
(1) 从“2010/2011 学年1 学期”课程设计评价数据库中，按比例分层，随机抽取各等级样本组中的样本。
(2) 对各样本组样本进行编号，计算各编号样本的信度值。
(3) 根据当年课程设计评价数据样本信度不甚理想的状况，采取改进实践教学质量评价的措施。
(4) 从“2011/2012 学年1 学期”课程设计评价数据库中，按比例分层，随机抽取各等级样本组中的样本。
(5) 对各样本组样本进行编号，计算各编号样本的信度值。
(6) 对“2010/2011 学年1 学期”与“2011/2012学年1 学期”不同时间段对照组样本信度变化趋势作整体对照分析。
(7) 探讨引起信度变化趋势的原因，并以此提出今后进一步改进实践教学质量评价的措施与建议。
2. 数据抽样
分别从各对照组中按比例分层，随机抽取等级样本组中的样本[4]。（详见表1、表2）
3. 信度计算
采用spss（Statistical Package for the Social science）社会科学统计软件包，从实践教学质量评价数据库中选择已筛选出的样本，分别计算其信度值。（详见表3、表4）
4. “2010/2011 学年1 学期”与“2011/2012 学年1 学期”样本信度变化趋势整体对照分析两组基本情况大致相似，评价结论分布也基本符合正态分布。然而，比较两学期的实践教学评价信度值γα，却发现2010/2011 学年1 学期评价信度值明显低于2011/2012 学年1 学期评价信度值。通常来说，γα 值偏低表明其评价指标内部的一致性欠佳，该次评价的可靠性较差；反之，则说明评价结果较为可靠，亦即它比较真实地反映了客观现实[5]。故运用这种评价信度轨迹变化的对照分析方法，对工科学生实践教学质量评价工作进行改进，进而实现从系统分析的角度全面提升实践教学工作的质量。
（二）引起评价前后信度变化的原因探讨及为提高实践教学评价质量所采取的改进措施
1. 指标体系误差问题
众所周知，教育评价的对象往往是由多结构、多层次、多因素组成的复杂系统，由于教育的复杂性、多功能性以及人们对事物认知的局限性，因而，设计出来的指标体系通常难以囊括评价对象的全部属性，从而可能造成某些内容的遗漏，以至于产生误差，这是原因之一；其次，考虑到指标体系的可行性问题，我们往往只能抓住反映评价对象的主要特征，而对一些次要因素则很少顾及，不能说这些因素对评价对象毫无影响，这是指标设计过程中误差产生的又一原因，同时，打分者对指标内涵的理解是否一致，也是一重要因素；第三，系统权数的量化有很大的不确定性和主观性，故指标权数只能是基本合理或大致合理，由此，就会与真实的权重之间产生误差[6]。
针对以上信度对照实验数据并结合上述指标体系分析，我们在实践中采取了以下应对措施：
(1) 延长评价长度，亦即操作中适当充实评价体系内容。如：课程设计进度与学生负担合理性；设计指导的启发和吸引力；学生对课程设计理论知识的理解与掌握程度，等等。
(2) 科学筛选指标，加大指标操作区分度。根据指标体系应遵循的科学性、方向性、可比性和可操作性等原则，对体系中不甚合理或尚有争议且学生评价操作困难的内容进行了适当的修正。
(3) 详细分析与修正系统权重。把每次评价的结果与平时观察、了解的结果进行对照比较，针对某方面工作普遍出现的忽略倾向，考虑权矢量的大小和它的导向作用。在借鉴各兄弟院校经验和调查研究的基础上，修正并使其逐渐趋于科学合理。
2. 产生误差的心理因素问题
(1) 近因误差。评价者对评价对象现实或近期情况通常会了解得比较清楚、记忆比较深刻，对远期情况印象会比较模糊或记忆不清，从而容易以近代远，导致评价误差。因此，评价实践中，我们选择了在实践教学开始前就进行布置，在实践教学课程行将结束时，组织学生进行评价。同时，保证及时为学生评价提供准确的课程名称、教学时数、课程分类等资料。
(2) 暗示效应。评价对象由于受到上级领导、舆论宣传的暗示都可能产生评价偏差，尽管有时这些舆论与评价内容根本风马牛不相及。因此，在组织评价过程中，我们注重评价各单位组织者的责任感，既要求能向学生提供必要的准确资料，又防止有导向的语言暗示。
(3) 感情效应。评价工作中重视学习讨论，统一思想，明确评价的目的和可行性、必要性，是降低感情因素影响的有力措施。整个评价直接通过网络进行，不与任何教学单位、教师发生直接联系，既降低了参与评价学生的心理压力，又防止了一些不必要的麻烦[7]。
3. 数据处理误差问题
评价结果最终都将经过数据处理，其处理手段落后与先进，取样方式的原始、科学都可能左右评价的最终结果。所以在数据分析阶段我们注意了以下几方面：
(1) 全面审核数据。数据归类时，首先按评价要求对采样的表格进行甄别，对于评价中所有指标项均得满分的或均得最低分的表格，按比例进行了剔除。同时，增加了对样本个数的要求，有效地减小了极端数值对总体数据的影响，抑制了评价者因心理等因素而可能产生的倾向性。
(2) 采用SPSS 进行信度的数据分析[8]。采用SPSS 既大大降低了数据运算误差，同时，由于C/S与B/S 双模式下Web 数据库的建立，提高了评价数据分析的准确性，也为充分挖掘使用评价数据进行实践教学评价分析，进而开展可控的教学管理，全面提高教学质量提供了强大的技术支撑[9]。
三、结语
实践教学质量评价是一项非常复杂的工程，其结果可信与否是实践教学评价工作的生命线，关系到卓越工程师培养的质量。通过评价信度值γα 的分析，指导实践教学质量评价的改进，是一种理论与实践结合基础上对实践教学评价进行科学分析的方法[10]。γα 值偏低表明其评价指标内部的一致性欠佳，该次评价的可靠性较差；反之，则说明评价结果较为可靠，亦即它能比较真实地反映客观现实。因此，通过γα 值高低来调整评价体系的内部指标、评价的方法与过程，对于提高实践教学评价的可信度，进而全面提高实践教学质量，具有较高的实用价值和意义，能收到明显的实践成效。
教育期刊网 http://www.jyqkw.com
参考文献：
[1] 陈玉琨.教育评估的理论与技术[M].广州:广东高等教育出版社,1986.
[2] 陈谟开.高等教育评价概论[M].长春:吉林教育出版社,1987.
[3] 王孝玲.教育测量[M].上海:华东师范大学出版社[M],2004.
[4] 郭熙汉等.教育评价与测量[M].武汉:武汉大学出版社,2008.
[5] 张虎,田茂峰.信度分析在调查问卷设计中的应用[J].理论新探,2007(21):25-27.
[6] 隗金水,罗兴华.体育院系试卷的信度分析[J].广州体育学院学报,2000(1):119-123.
[7] 黄敏,梁春琳.大学英语教学过程性评价信度影响因素分析[J].广西警官高等专科学校学报,2013(4):73-76.
[8] 杨承根,杨琴.SPSS 在测验结果信度计算中的应用[J].高等函授学报(自然科学版),2010(2):70-72.
[9] 余建英,何旭宏.数据统计分析与SPSS 应用[M].北京:人民邮电出版社,2003.
[10] 罗家国,戴海崎.高校教学目标管理评估系统建立和应用中的问题与对策研究[J].江西理工大学学报,2007(7):75-78.
[编辑：何彩章]
