文/小寒 由于安装、维护和支持计算机系统逐渐变得越来越复杂,IT工程师和他们的雇主们迫切需要建立一个检测系统,准确地测试出个人独立完成工作任务的能力,也就是说,需要一个检测评定技术水平的认证系统。
微软公司推出的微软认证系统工程师MCSE顺应了需要一个检测评定技术水平的认证体系的要求。直至今日,为了跟上新技术的发展和不断变化的技能要求,微软公司仍面临着持 续的挑战。要迎接这个挑战,微软公司只能不断扩大和更新MCSE认证系统和考试,使其成为更有效的评估工具。
微软认证系统工程师MCSE系统目前包括几十种语言的近40门考试。为满足社会对认证的强烈需求,微软公司打算在近年内推出更多的考试。微软认证考试由美国普尔文公司(Prometric)和虚拟大学企业集团负责实施。
技能第一
如何创建和确定微软认证考试的内容,这不是一个简单的过程,数以百计的专家参与了每一门考试的开发。在某一项软件产品和技术开发的早期,开发相应考试的过程就开始了。负责认证试题开发的小组向公司内外的IT专家们分发工作任务分析调查表(JTA,a job task analysis survey),这些专家在使用特定的技术方面有丰富的经验,并且能够确定有效掌握此项技术所要求的技能。调查的结果记述和确认了个体需要完成的特定任务,相关任务的目录就成为与某项特别认证途径相联系的考试的基础。
在软件产品开始为进入市场而进行Beta测试的同时,认证试题开发负责经理也要不断征询产品生产组、使用说明设计人员以及制定微软正式课程(MOC,Microsoft official Curriculum)的培训部门的专家们的建议。这些人共同工作的结果是制定出特定的“目标域”,这是一份特定的认证考试将要涵盖的50~150种技能的目录。
通过技术检查和编辑复审之后,考试目标作为认证规划调查的一部分再次广泛地分发给相关的IT专家们,这些专家所从事的工作与特定考试所测试的目标是一致的。这项规划调查的结果,决定了每一个考试目标的相对重要性,并且保证更为重要的考试目标一定包括在正式考试之内。
编写考题
在上述步骤进行当中,认证试题开发负责经理组织了一个3~5人的试题写作组。
认证试题开发小组一开始要确认,这些试题写作者是否熟悉心理测试的过程和考试的要求及步骤。然后准备着手进行组成某一门考试的上百条考题的写作。微软试题的写作以Bloom分类学为指导,这是一项产业界普遍接受的研究成果。它能为从事某项工作定位出相应的知识水平,实际上包括六种不断增长的复杂知识能力,概括如下:
知识表达能力,如识别、定义、定位、回忆、陈述等;理解能力,如转述、辨别区分、举例等;应用能力,如运用、计算、解决问题、规划等;分析能力,如分析、陈述结论、检查逻辑错误、比较和对照等;综合能力,如建立表格和示意图解、设计、建立公式、集合、归纳、预测等;评估能力,如鉴定、评估、应用标准、决策、指出错误等。
考题写作者要避免使用单一的知识水准条目,努力设置新的条目,以测试应考者是否具有更高的知识理解能力。
当所有的题目都经过了进一步提炼之后,它们再被送到另外一些人手中进行技术审查。这些人在技术水准和工作能力上都是专家。在这个可能持续一周的会议上,与会者们剖析每一道试题,检查它们的技术准确性、相关性和简洁性。经过初步技术审查,试题得到了进一步提炼,在清晰度、心理测试有效性、适应地区化需要以及其他关键方面都更凝练,保证了微软公司考试的可靠性、可信度和高质量。
检测试题
经过上述过程确定下来的试题汇编成了Beta考试,在各考点进行测试,周期大约为一星期。参加Beta考试的应考者不会马上得到考试分数。通过Beta考试收集的数据,认证试题开发小组可以对试题完成程度做出评估。考试的目的,甚至可以说是每一个考题的目的,就是要把那些在相关工作任务中具有胜任能力的人与没有能力的人区别开来。据此,认证试题开发小组依据考题的难易程度来确定该题是否应该保留在正式考试中。35%以上人都会做错的难题,或是85%以上人都做对的简单题通常会被淘汰。
试题筛选完成后,认证试题开发小组还要利用Beta考试得来的数据确定考试的通过分数线。由于每项技术需要的技能不同,每一门考试的通过分数线也不相同,但是平均通过分数线为700分(满分为1000分)。分数线确定后,小组会根据与正式考试一样的标准,开始给Beta考试应考者打分。
到此为止,考试创建完成。
创新考试技术
为了更好地评价考生的相关技能,有效防止试题盗版,微软公司的专家认证考试引入了一些创新测评技术。这些技术包括使用软件模拟系统,推广自适应性考试,以及在现行考试中增加新试题。
软件模拟系统在传统考试中,考题包括说明、提问和反映应考者解决问题方法的选择答案。这类试题比较容易制定,能有效测出应考者的能力。为了提高试题的有效性,认证试题开发小组最近在一些考试中,引入了一种软件模拟系统。这种模拟系统实际上是相关产品的全真版本,它用来检测考生是否能够实际完成所要求的任务,而不仅仅是描述完成任务的过程。模拟系统可以和传统考试混合使用,应考者既要完成一项任务,又要回答与该任务结果相关的特殊问题。
自适应性考试在传统的考试中,题库中的各组试题以不同的方式固定地排列在一起,每一组中都有不同难度的试题。认证试题开发小组平衡各组试题,使它们具有相同的难度。那些第一次考试没有通过的应考者,再次考试得到的是一组不同的试题。这种考试的优点是容易设计,但是也有两个重要的不足之处:
A.考生不管实际能力如何,都必须做大量考题,考试需要较多的时间。
B.一些开发代价较高的、难度较大的试题,经常一览无遗地展示给许多人,增加了试题外泄的可能性和盗版的危险。
为了克服这两个不足,微软公司正在推行自适应性考试技术,即通过与应考者实际水平相适应的考题难度,测试出应考者的能力。
在自适应性考试中,开始给出一道中等难度试题。如果应考者回答正确,下一道题就更难;如果应考者回答错误,下一道题就比较容易。要通过这种考试,应考者必须在规定的时间内正确回答一定数量的难题。在考试过程中只有当应考者做得非常好的时候,考题才会越出越难。做得不好的应考者在规定的时间内根本碰不到那些难题。
固定形式的考试不管应考者能力如何,都会将所有的试题排列出来,总共约50~60道题。相比之下,自适应性考试只需通过15~25道题,就能确定考生的技术水平。这样极大地减少了考试时间,以及考题外泄和盗版的危险。
在固定形式考试中出现的考题同样会在自适应性考试中出现,因此应考者不必学习不同的东西。对于应考者来说,只有两点值得注意:
自适应性考试时间较短,因为考题较少。
考生不能跳过一道题不做,或者做完后面的考题再返回前一道考题,因为自适应性考试的格式决定了要做的考题是以应考者对前一道题的回答为基础的。
增加新试题为了使考试跟上产品技术的发展和产品用途的变化,微软公司不断地为现行考试补充新的试题。
最后的检测
设计一套有效的可靠的方法测试你使用微软技术的能力,对认证试题开发小组来说也是一个考验。认证试题开发小组做这件事需要你的帮助和你的反馈信息。
建议
正式的考试和课程目标也许并不完全一致,这一点无关紧要。考试所测试的是完成一项特别工作所必须的相关技能。尽管课程培训能够有助于应考者更快地掌握这些技能,微软公司仍然不希望应考者通过培训学到的只是通过考试的有效经验。认证开发组极力建议应考者必须通过使用产品,获得从事特定工作所需要的技能。
|