计算机辅助评价的发展趋势 - 中国教育技术学 - powered by 教客

计算机辅助评价（Computer Assisted Assessment）是一个范围很广的概念，它涵盖了计算机在个人知识、技能和能力评价领域中应用的诸多方面。由于目前计算机技术、网络技术等信息技术迅速发展，大型的社会化考试（比如职业资格认证、TOFEL、GRE等）以及远程教育和网络教育中教学评价活动的开展对计算机辅助评价的需求也日益扩大，因此计算机辅助评价的研究和应用出现了一些新的发展信息。从目前CAA的研究情况来看，测量理论尤其是项目反应理论及其实现技术、计算机辅助形成性教学评价、基于网络的计算机辅助测试、通过计算机辅助记录学习过程信息实现评价等领域都将是计算机辅助评价的重要发展方向。

一、计算机辅助测试的优势

随着科学技术特别是信息技术的发展，我们正在向终身学习社会迈进，人们不但可以接受基础教育和高等教育，而且可以接受职业教育和社会培训等多种教育，受教育的机会和时间将越来越多，传统的教育评价方法和测试手段也越来越不适应教育发展的需要。特别是在以下情形，传统的测试方法已很难适应：

1. 被试数目过大。

2. 测试和评价的周期很短。

3. 实施测试和评价的人员或资金紧张。

4. 被试有时间上的压力或冲突；或者在地理位置上很分散。

因此，计算机辅助测试显得越来越重要，因而成了教育评价发展的一个重要趋势。

计算机辅助测试是计算机辅助评价研究和应用的主要形式，这不仅因为评价的主要手段是测试，而且因为计算机辅助测试本身所具备的特点而使得它在教育评价、职业测量、人事测评等领域中大显身手。

概括来说，计算机辅助测试的主要特点有以下三个方面：

1. 高效率：可以胜任大范围群体的测试，以电子方式发布和传输测试材料，反馈及时、测试结果的分析报告专业、查卷工作简单高效，考试服务人员数目减少，组织工作相对简单。

2. 测量方法可以更复杂、更准确，有利于更有效地测量被试的知识和能力水平。

3. 测试时间和地点具备一定自由性，不再严格要求到同时和同地。

二、项目反应理论代表了测试理论和实践的发展方向

测试的指导理论主要有两种：经典测试理论与项目反应理论。

经典测试理论（Classical Test Theory，缩写为CTT）是从20世纪初发展起来的，它的基本思想是：对某个学生进行测验所得分数X可看作是代表该生实际知识或能力水平的真实分数（ ）和测验误差分数（ ）的线性组合，即：X= + 。

经过近百年的发展，经典测试理论建立了一系列整个测验质量和单个项目（题目）分析的公式。比如分析整个测验的质量时，估计信度系数的公式有库德──理查逊（Kuder—Richardson）公式和克伦巴赫（Cronbach）公式，分析单个项目时有难度、区分度、迷惑效力的计算公式等。另外，经典测试理论对于各种测验的编制、考分的转换与等值等均有一套较为完整的方法，但是此理论仍存在着无法克服的问题：首先，测验参数（如难度和区分度）过分依赖测验的考生样本；其次，测验结果的可比性差，只有当所有被试都实施相同的测验项目或其平行复本时测验结果才是可比的。

针对经典测试理论的不足，50年代以后逐渐提出了一些新的测试理论。其中项目反应理论（Item Response Theory，缩写为IRT）较为突出，影响较大。与经典测试理论采用的线性模型不同，项目反应理论采用的是非线性概率模型。

IRT认为，被试对测验的反应受某种心理特质支配，测验的结果和这种特质之间所存在的关系可用“项目特性曲线”来描述。在IRT研究的过程中，人们提出了多种项目特征曲线的数学函数，目前应用较广的是伯恩鲍姆于1975年提出的单维逻辑斯蒂型。简单描述单维逻辑斯蒂型的“项目特性曲线”可以用 =F(Q,a,b,c)来表述。其中Q表示被试的能力特质，a、b、c标识项目的质量参数，分别是区分度参数、难度参数和猜测参数， 表示被试关于第j题的正确反应概率。项目的质量参数值都不能由直接测量得到，必须通过对被试的反应数据进行估计来求出，通常采用的是极大似然估计法。

项目反应理论对于测量误差的处理是通过信息函数加以实现的。就某个试题j而言，其质量指标a、b、c是一定的，信息函数值只与被试能力素质水平有关，它的大小直接反映出该题对被试能力特质的估计精度，信息函数值越大，这种估计就越精确。信息函数的引入，提供了测验精度的确定信息，从而可以针对各水平上的能力特质更好地控制测量误差。

项目反应理论虽然克服了经典测试理论的一些缺点，但是目前还存在着许多问题没有解决。比较突出的是项目参数、被试能力特质、答对概率三者之间的关系模型的确定尚无标准；测试依赖于大量的、预先准备的、高质量的试题，而这在现实普通教育领域中很难完全做到。但是勿庸置疑的是项目反应理论代表了今后测试理论和实践探讨的发展方向。

三、研究证明计算机化测试是有效性的

计算机辅助测试效果的研究比较多。研究的方法和出发点也不太一致。

英国计算机辅助评价中心[4]总结了评价计算机辅助测试效果所涉及的研究内容：

（1） 分析被试通过计算机化测试得出的成绩，并与传统纸笔测试所得到的成绩进行比较；

（2） 分析、评价被试在计算机化测试中的经历，包括被试对CAA的满意感、焦虑程度，被试对CAA易用性、明了性、内容效度、公正性等的态度，反馈的速度和质量，被试学习行为的变化等。

（3） 分析、评价教师或施测者对CAA的态度；

（4） 分析计算机辅助测试所花费的时间、资金，并与传统纸笔测试进行比较。

下面我们从若干研究实例出发，对目前国外在该方面的研究情况进行分析。

新泽西Otaga大学的John Cross等人采用与传统纸笔评价的比较研究方法分析了他们所设计的计算机辅助测试对学生的影响[5]。他们首先随机安排了两个实验组共60个学习生物科学课程的学生，前四个星期内，一组学生采用基于纸笔的评价方式，另一组学生采用计算机化的评价形式，到第五个星期的时候，两组互换评价方式，再经过四个星期后，即到第九个星期的时候，让学生自主选择要选择何种评价方式。学生学习的一些过程信息通过每周的问卷调查、期末的面谈以及录像手段获取。两个实验组有43名学生（占72%）参与了8个星期的计算机化评价，17名学生（占28％）对计算机辅助评价的形式持否定和不参与的态度。另外在第五个星期两个实验组学生应该互换评价方式时，有5个学生不愿意参与计算机辅助的评价，认为纸笔的评价方式非常适合自己。问卷的调查统计结果表明，绝大部分学生认为：计算机辅助评价的方式有助于提高自己的学习、自己对测试的焦虑水平适中、随着自己对计算机化测试的熟悉以及教师支持和鼓励，考试的压力也逐渐减轻。

英国伦敦大学（University of London）的Glenn K.Baggott等人也进行了计算机辅助测验的效果研究[6]。他们对选修生物课程的非全职学生实施了计算机辅助形成性评价和总结性评价的测试，调查结果表明，大部分学生认为：

? 计算机辅助测试是公正的，无偏颇的；

? 参与计算机辅助测试的经历要比传统纸笔测试更受益和愉快；

? 随着对计算机辅助测试的熟悉，考试的焦虑和压力大大降低，对自己测试结果的预测也更加精确；

? 自己更容易在计算机辅助的测试中表达和应用自己已学过的知识和能力。

除了上述直接对计算机辅助测试的效果进行评价研究外，CAA领域的研究者还注意分析影响计算机辅助测试效果的外部因素，即解答“哪些方面的因素会影响学习者应用计算机辅助测试的效果”。比如上述的John Cross等人还设计了实验，研究计算机辅助测试的效果与学生性别、课程偏好、自信心、计算机水平、种族等之间的关系。值得注意的研究结果是John Cross等人所得出的结论：学生对某学科的自我效能感/信心很大程度上决定着学生是否愿意选取计算机化的评价方式。

四、计算机化测试在反馈和形成性评价中的应用

教育领域内，评价有形成性评价(formative assessment)和总结性评价(summative)之分。形成性评价是在某项教学活动过程中，为了能更好地达到教学目标的要求，取得更佳的效果而不断进行的评价。它能及时了解阶段教学的结果和学生学习的进展情况、存在的问题，因而可据此及时调整和改进教学工作。总结性评价一般是在教学活动告一段落后，为了解教学活动的最终效果而进行的评价，重视评价结果，借以对被评价者作出全面鉴定，区分出等级并对整个教学活动的效果作出评定。

从计算机辅助评价领域来看，尽管计算机辅助测试在教育领域内应用的主导形式还是计算机辅助总结性评价（Bull，1999）[1]，但是目前对计算机支持的形成性评价的关注和研究很多（Charman，Leith Sly，John Cross, Glenn K.Baggott，James Dalziel）[2][3][5][6]，其原因是多方面的：

首先是因为评价观念的转变。人们迫切希望通过有效且可靠的评价激励学生的学习，而不是仅仅局限在获得高效率且高可靠性的测试结果上[7]。

其次，形成性评价由于能够提供即时的反馈，与当前所发生的学习关系密切。大多数教育评价专家都认为形成性评价是学习的一个组成部分，测试与反馈活动的结合可以促进理解的加深和知识的巩固。Black和Wiliam（1998）甚至评论说有效的形成性评价可以导致意义重大的学习效果。

第三，由于计算机技术的支持，形成性评价可以具备更多的优势，比如反馈迅速，反馈形式更加丰富灵活，反馈内容以多媒体形式表现，评价的时间和地点不再受约束以减轻非全职学生的压力等。

第四，由于技术尤其是网络通信技术的发展，教育突破学校的限制实现开放的终身目标已经在实践中体现了出来。一些“在线校园”、“虚拟学习环境（Virtual Learning Environment，缩写为VLE）”、网络课程、网络学习平台不断涌现。与这些变化相适应，远程教育中的评价也越来越趋向于计算机与网络的支持。另外，对于成人教育、继续教育、职业培训中的学生而言，缺乏有效的师生交互以及时间的压力是影响远程学习质量的两个重要因素，而计算机辅助形成性评价有助于解决这两类瓶颈问题。正如James Dalziel指出的那样，在网上学习中，测试就是一种非常重要的师生交互手段，基于网络的计算机辅助形成性评价与网络课程教学相联系会大大促进学习者自我评价能力以及元认知能力的提高[14]。

计算机辅助形成性评价的应用大致有以下两种形式：

（1） 单元学习过程中的小测试（微型测试），多数为自我测试的类型

（2） 单元学习过程中的阶段测试，涵盖的范围要比小测试广

形成性评价促进学习的功能主要依赖于反馈。具体反馈的形式又依赖于具体的教学目的，目前在计算机支持的环境下，研究和应用较多的反馈方式有：

（1） 多级反馈：反馈的信息是分层级的或者是网状分布的，学习者可以依据自己的需要和兴趣提取不同的反馈信息；

（2） 答案的等级反馈：通常应用于主观题目的自我评价。为了方便学习者了解自己的反应水平，提供参照的不同反应水平样本。比如提供差、中、良、优级别的答案样本;

（3） 诊断性反馈：明确指出学习者的弱势和长处或者需要进一步改进的地方;

（4） 针对具体答案的反馈：根据被试作答的反应给出不同的反馈，目前多用在多项选择题的反馈中。

不同测试方式与不同反馈的结合将会形成不同风格的形成性评价，并导致程度和方向均不同的用途。但是目前对计算机辅助形成行评价应用情况的总结性研究或事例性研究很少，与各具体学科相关联的研究更少。

五、计算机化测试可以测量高级认知能力

高质量的测试需要高质量高水准的试题，而编制和设计试题是一项复杂而费时费力的工作，涉及很多的内容，比如确定题型、题目的考核点、题目的测试属性（难度、区分度、迷惑度等），设定分值，组卷等。这里我们着重从人们普遍关注的“计算机辅助测试是否只能评价较低水平的认知能力”问题出发探讨目标分类理论以及计算机化测试题型的研究情况。

测验目标是试题编制的出发点和依据，而测验目标的确定是以教育目标分类理论为依据的。国内外影响最大、应用最为广泛的是布卢姆（B.S.Bloom，1956）关于认知领域目标的分类理论。该理论将认知目标由低级到高级共分为六级：

1. 知道：指对先前学习过的材料的记忆

2. 领会：指把握材料意义的能力，并可以借助三种形式来表明对知识材料的领会：一转换，即用自己的话语或用与原先表达方式不同的方式来表达所学的内容；二是解释，即对一项信息（如图表、数据等）加以说明或概述；三是推断，即预测发展的趋势。领会是最低水平的理解，它超过了单纯的记忆。

3. 运用：指把学到的知识应用于新的情境，它包括概念，原理、方法和理论的过用。运用是较高水平的理解。

4. 分析：指把复杂的知识整体材料分解为组成部分并理解各部分之间的联系的能力，它包括部分的鉴别、分析部分之间的关系和认识其中的组长织原理。分析代表了比运用更高的智能水平，因为理解材料的内容，又要理解其结构。

5. 综合：指把各种要素和组成部分组合成一个整体，包括进行独特的交流、制订计划或操作步骤、推导出一套抽象关系。

6. 评价：指对材料（如论文、小说、诗歌、研究报告等）作价值判断的能力。

Delgano(1998)认为布卢姆的学习目标分类理论对学习目标的分类比较详细，而且易与外显的学习行为相联系，因此非常适合作为测试题目编制的依据。但是也有评价人士认为布卢姆的分类理论对于高级认知能力测试缺乏足够的指导力度，教师往往浅显地只用动词来表达测试的目的，比如在题目中使用“分析”一词，但实际上考核的却是记忆层次的认知目标。基于此，Anderson和Krathwohl（2001）对布卢姆的认知目标分类进行了修改[8]。认知目标仍保持六个级别，但是改成了：记忆、理解、应用、分析、评价和创造，其中属于高级认知能力的是应用、分析、评价和创造。另外，还增添了知识类型的维度来帮助教师确定评价的认知目标，知识类型维度共分为四类：事实性知识、概念性知识、过程性知识和元认知知识（具体见表1）。

记忆 理解 应用 分析 评价 创造

事实性知识 术语

特定细节

概念性知识 类别

原则

理论

过程性知识 技能/运算

技巧/方法

规范

元认知知识

表1 Anderson和Krathwohl（2001）对布卢姆认知目标分类的修改

从上表来看，由于创造级别的认知能力测试是没有唯一或可穷举的正确反应的，因此计算机化辅助评价无法对创造类型的题目实施自动反馈和评测。而元认知知识是与具体学科无关的知识，所以一般也不列入学科测试的目标范围内。

英国Portsmouth大学的Terry King 与Emma Duke-Williams从测试高级认知能力的研究目的出发，以上表为依据设计了13道客观测试题，且这13道客观题覆盖了理解、应用、分析、评价四种较高级的认知目标，同时还设计了6道从样题中改造的题以及3道直接从以往试题中抽取的题[8]。通过对37位学生的施测和问卷访谈调查，发现：根据Anderson和Krathwohl的学习目标修改表设计的试题区分度的变化情况不大，试题难度与题型有很大的关系，另外学生都认为这些试题较其他两种对自己的学习更有帮助。但是需要指出的是Terry King 与Emma Duke-Williams只是对计算机辅助高认知水平测试的试题编制进行了一番尝试，并没有提出系统的具备指导意义的理论与方法。

除了从目标分类理论入手探求高级认知能力测试的解决途径以外，人们还特别关注计算机化测试的题型。Sarah Maughan等人认为是题目的类型限制了目前计算机辅助测试的应用，当计算机辅助测试的题型越来越丰富多样的时候，计算机化测试的效果也就会越来越显著[9]。Sarah Maughan等人的话是有一定道理的，目前计算机辅助测试最普遍的一种题型就是多项选择。由于过分普遍，以至于有人批评计算机化考试仅仅是将测试从传统的机械记忆填写转变为答案的机械选择而已[5]。尽管如此，计算机辅助测试领域里的专家们在计算机多媒体的支持下，设计和实现了灵活多样的多项选择题，比如用声音、视频、动画（包括交互动画）、图片、各种颜色文本来呈现题目，用动态的鼠标拖拽来选择答案，并使用交互效果来实施反馈等。甚至还希望通过应用XML（扩展标识语言）来呈现问题实现被试定制试题的呈现形式。而从根本上解决计算机辅助测试题型单一困境的还是突破“选择”，寻求其他题型比如简答、填空、计算等在计算机上的实现方式。目前前景看好的一种题型是操作应用题。其核心技术就是模拟和虚拟实验。Sarah Maughan等人指出计算机辅助测试应用的一个潜能就是通过模拟来测试更高级的认知能力[9]。模拟就是让学习者操纵若干变量，探讨变量之间的关系，并根据探索过程所获取的信息解决问题。Caseit是维斯康新河秋季大学(the University of Wisconsin-River Falls)开发的通过模拟手段解决问题达到测试目的的软件，学习者通过该模拟软件进行遗传病因的相关分析，并将最后结果以图片的形式上载到服务器，让教师和其他学生予以评价[10]。正如Caseit所面临的发展问题一样，计算机辅助测试研究者所面临的一大挑战就是如何评估学习者最后的问题解决结果以及问题解决的过程。

六、计算机化测试的工具和手段趋向多元化

目前实现计算机辅助测试的工具或技术手段比较多，综合起来大致可以分为四种：多媒体写作工具、高级开发语言、各类学习平台上的测试工具以及专门的测试工具软件。

多媒体写作工具是专门为制作多媒体软件而设计的。大多数都具有可视化的创作界面，并具有直观、简便、交互能力强和无需编程、简单易学的特点。应用这类工具设计计算机化测试，多具备很好的交互性能，大多应用在形成性评价或促进学习的测试目的中。流行的多媒体创作工具有authorware、director、toolbook、flash等。目前应用于设计考试或评价系统的开发语言有很多，如Basic语言，面向对象的C++语言，流行的Internet语言——Java语言，服务器端编程语言——JSP、ASP、PHP等。比较全面的学习平台如WebCT、Blackboard等都提供辅助测试和评价的功能。这里由于篇幅的关系，我们主要对一些专门的测试工具进行简单介绍：

? Question Mark Perception：英国萨西克斯大学(the University of Sussex)开发，可支持外部HTML编辑器，可以将大批量试题发布到网上，并有安全特性；学生完成答题后就可以获得反馈，所提供的反馈可以与学生具体的答案相关联；计分功能比较灵活，可以将分数转为等级分，另外还支持负分。

? Half Baked Hot Potatoes：英国维多利亚大学开发，支持外部HTML编辑器，可以将问题发布到网上，主要用于语言学习的测试，支持六类题型：多项选择、简短回答、杂乱句子挑错、纵横字谜、匹配/排序、填空。不同题型的反馈是不一样的。分数按照百分比来计算，学生的再次尝试答题会影响最终的分数。

? WebMCQ：澳大利亚悉尼大学开发，安装和应用都很简单，是基于网络的辅助测试工具，提供了一定的试卷安全机制，可以自动记分和统计，提供针对具体答案实施反馈的机制，但是题目的类型局限于多项选择。

? TRIADS：由英国利物浦大学 (the University of Liverpool)、德贝大学（the University of Derby）和英国开发大学(the Open University)联合开发的辅助Authorware开发测验的工具(TRIpartite Assessment Delivery System)，可支持大约18种问题类型。

? CUE：由Heriot-Watt大学开发，是一个非常强大的编制和修改试题的工具软件，有单机版和网络版，支持形成性评价和总结性评价，提供多项选择、热区反应、数学表达式检查、字符和词语的匹配以及简短回答的提交等测试的交互形式。比较突出的一点是CUE还为学生的作答设计指导步骤。另外CUE对数学表达式的处理很灵活，支持随机变量的使用，支持不同数学表达式的表述。

七、学习过程的记录将是计算机辅助评价的重要组成部分

除了应用测试手段进行评价以外，还可以通过对被试行为表现的记录和追踪获取相关信息实施评价，这就是计算机辅助记录和指导的研究内容，其中电子作品（e-works）和电子档案（e-portfolio）是影响最大、研究也最为广泛的一种计算机辅助评价策略。

电子作品是学生将他们创新思维和问题解决的结果运用现代信息技术提供的环境表达出来，如用Word完成的文档、用Powerpoint制作的演示文稿、用VB编写的程序等，这些数字化产品就叫电子作品（e-works）。通过对学生电子作品的评价可以帮助学生了解自己在学习中的实力与不足，促进学生确立自己的学习目标。Gilman、Andrew、Rafferty、Midkiff和Thomasson等认为，基于电子作品的评价不仅可以评价学生的学习过程，也可以评价学习的成果，并把学生的学习与教学评价结合在一起。

学习档案（portfolio）收集和保存了学习者学习过程中的一些信息和资料，是一种非常有效的展示和评价学习者学习过程中努力和成就的手段，学习档案收集和保存必须有学习者的参与[12]。如果用计算机技术辅助电子档案的搜集、保存和管理，那么就演变成了电子学习档案（e-portfolio）。目前已经开发了一些辅助教师和学生建立电子学习档案的工具软件。比如Aurbach的Grady Profile为教师和学生提供了学习档案样本的模板，借助样板，教师和学生可以直接输入包括写作的作品、测试成绩、评语等学习档案信息。Roger Wagner的HyperStudio可以让教师创建适合自己和学习者评价需要的学习档案模板。南非Pretoria大学的Johan Knoetze教授还开发了支持应用电子档案实施评价的辅助工具，比如应用网络数据库技术以支持电子档案的上载和发布。除了技术支持工具的研究外，南非Pretoria大学的El-Marie Mostert教授还针对电子档案的评价提出了一个过程模型。他认为教师在进行应用电子档案评价学生的学习情况时，首先应该分析影响电子档案评价成功的因素（比如评价的目的、学习者的技能、信息技术设施的可获得性），然后要设计出完整的适合不同学生特点的、包含评价准则和要求说明的评价实施方案，再接着要鼓励和指导学生积极参与电子档案的评价活动中；再然后学生者与教师一起运用学习到的知识根据要求完成电子档案，最后应用教师评价、同伴评价和自我评价的方式或其中的一种方式结束[13]。

尽管计算机辅助学习过程信息的记录并不是目前计算机辅助评价应用和研究的重点，但是不能否定的是这一分支的重要研究意义和发展前途。

参考文献

[1] Bull,J.(1999). Update on the National TLTP3 Project “The implementation and evaluation of computer-assisted assessment”. Proceedings of the Third Annual Computer Assisted Assessment Conference, (Ed.M.Danson&R.Sherratt),11-17.Loughborough:Loughborough University

[2] Charman,D.(1999)Issues and impacts of using computer-based assessments（CBAs）for formative assessment in Computer-Assisted Assessment in Higher Education，Ed’s Brown S.，Bull J.&Race P.Kogan Page Led.London

[3] Sly,L.&Rennie,L.(1999)Computer Managed Learning as an aid to formative assessment in higher education in Computer-Assisted Assessment in Higher Education, Ed’s Brown S.，Bull J.&Race P.Kogan Page Led.London

[4] CAA Centre, http://caacentre.ac.uk/evaltn.shtml，1999

[5] John Cross, Computerised Formative Assessment in Very Large Laboratory Classes, Fifth International CAA Conference‘2001, http:// www.lboro.ac.uk/ service/ ltd /flicaa/ conf2001 / pdfs/ d3.pdf

[6] Glenn K.Baggott, Learning Support For Mature , Part-time, Evening Students: Providing Feedback Via Frequent, Computer-based Assessments, Fifth International CAA Conference ‘2001, http:// www.lboro.ac.uk/service/ltd/flicaa/conf2001/pdfs/contents.pdf

[7] http://www.caacentre.ac.uk/css/Chapter.shtml

[8] Terry King,Emma Duke-Williams，Using Computer-Aided Assessment to Test Higher Level Learning Outcomes, Fifth International CAA Conference‘2001, http:// www.lboro.ac.uk/ service/ ltd/ flicaa/conf2001/pdfs/contents.pdf

[9] Sarah Maughan,David Peet, Alan Willmott, On-line Formative Assessment Item Banking and Learning Support, Fifth International CAA Conference‘2001, http://www.lboro.ac.uk /service/ltd/flicaa/conf2001/pdfs/contents.pdf

[10] Caseit, http://www.uwrf.edu/caseit/caseit.html

[11] WebMCQ: http://www.webmcq.com

[12] Anna Maria D. Lankers ，1998，http://www.thejournal.com/magazine/vault/A3380.cfm

[13] El-Marie Mostert,Johan G Knoetze, Implementing an Electronic Portfolio Assessment Strategy: Multiple Pathways for Diverse Learners, Fifth International CAA Conference‘2001, http://www.lboro.ac.uk/service/ltd/flicaa/conf2001/pdfs/contents.pdf

[14] JamesDalziel, ScottGazzard, Nextgeneration computer assisted assessment software:The design and implementation of WebMCQ, Fifth International CAA Conference‘2001, http://www.lboro.ac.uk/service/ltd/flicaa/conf2001/pdfs/contents.pdf