用Google测量英语水平考试写作题型的卷面效度

　　摘要： 在各种英语水平考试中，写作测试常见的题型是200至300词左右的议论文写作。本文使用Google工具考察英语短篇议论文在真实生活中出现的环境，测量其出现频率，以评价写作试题的卷面效度。该研究是为测量卷面效度进行的一种新的尝试。 　　关键词： 英语水平考试 短篇议论文 卷面效度 Google 　　 　　一、卷面效度的评价 　　 　　卷面效度指的是测试的表面可信度和公众接受程度（Ingram 1977：18）。过去测试者认为其不具科学性而不屑于研究（Stevenson 1985）。实际上卷面效度是对测试内容的直觉的、整体的判断。虽然判断者并非一定是专家，他们可能是“外行”，如行政管理人员、测试结果的使用者或受测试人（如学生），但是这种对测试的整体性判断具有不可忽略的价值。 　　自交际语言测试（CLT）出现以来，许多CLT的倡导者（如Morrow 1979）认为交际语言测试应该“看起来”与“真实生活”中的语言英语相似。“真实性”这个概念还没有被给予系统的定义，但是我们可以将对“真实生活”价值的看重在交际语言测试的术语体系中标记为卷面效度（Alderson 1995：172）。 　　基于以上认识，我们认为评价卷面效度已不再是按照传统的方法，通过学生（或测试结果的使用者）问卷和访谈来进行，对卷面效度的测试也应该被纳入专业研究的视野。专业人士可通过收集试题与“真实生活”贴近程度的数据来测量卷面效度。 　　 　　二、英语水平考试中写作测试题型的卷面效度测量 　　 　　本文考察专业四级（Section A）、雅思考试（Task 2）和托福考试中写作测试题的卷面效度，即测量分析这三种考试的作文测试的题型与“真实生活”中文本形式的贴近程度。我们分别从作文测试题特征和“真实生活”语境两个端点出发收集数据，作两次数据比较，测量两个端点的接近程度。 　　从第一个端点出发即首先归纳作文测试题的特征，然后搜索这些特征在“真实生活”中的语境类别，根据语境类别的多寡判断两者的接近程度。 　　从第二个端点出发即首先归纳“真实生活”中常见文本载体，然后在载体中统计有该作文测试题特征的文本出现的频率，根据频率的多寡判断两者的接近程度。 　　由于Google搜索工具的搜索范围广泛（覆盖全球）、全面（按关键词检索，而不是按主题筛选检索），内容完全来源于真实生活，是非常方便的数据收集工具，同时Google也是一种准语料库，因此笔者决定使用Google工具搜集数据进行卷面效度的测量。 　　 　　三、从试题特征出发的研究 　　 　　(一)英语水平考试中写作测试题的特征归纳 　　写作测试题的第一个特征描述是文章篇幅，即规定词数。2005年以来的专业英语四级Section A写作题发生了一些微变化，文章的词数从过去的150词增加到200词。历次的A类雅思写作考试Task 2也将作文词数设定在250个附近。托福考试也不例外，其TWE部分作文词数在200到300之间。这些考试都不约而同地划定了200-300词的篇幅限制。 　　第二个特征描述是写作文体。雅思考试写作题目中明确指出“You will have to present an argument or discuss a problem.”（你必须陈述一个论据或讨论一个问题）。“argument”和“to discuss”已经清楚地表明了文章的性质是议论文（王振昌等1996：104）。托福考试中的写作要求是“Usually the questions ask you to compare two or more things”（一般地，所提出的问题要求你比较两个事物），虽然用的是“essay”一词，但是因为要在“比较”中立论，其实也是要求写议论文。专业英语四级考试中写作题目指示：“You are to write in three parts. In the first part，state specifically what your idea is. In the second part，provide one or two reasons to support your idea or describe your idea. In the last part，bring what you have written to a natural conclusion or a summary.” （文章分为三部分写：第一部分要特别表明你的观点；第二部分要提出支持该观点的理由；最后一部分为文章作一个恰当的结论或总结）显然，这也是典型的议论文写作要求。 　　因此，我们归纳的英语水平考试中的写作试题特征是：200至300词短篇议论文。 　　（二）英文200至300词短篇议论文的发生语境数据统计及分析 　　我们在Google中输入写作测试题的完整特征“200 words argumentative essay”。虽然约有32，000项符合“200 words argumentative essay”的查询结果，但是在结果中并没有“200 words argumentative essay (或essays)”三个词连用的情况，表明这个特征并不是一个文章的分类概念。即便如此，与我们所意图的“200词短篇议论文”相符合的结果在前100项中仍有30项，其中17项是重复内容，有效项目为（30-17）13项。 　　按照语境类别划分有：雅思考试类2项，考研考题类2项，国内、外文科教学中布置的作业4项，英语作文比赛、高考、自考和山东大学的一份写作课程大纲各1项，合计12项。还有一项指引我们找到一个可按关键词和文章字数检索文章的网站（http：//sv2.省略）。可惜的是从该网站中得到的200至300词议论文（共计21篇）没有注明文章来源。通过文章标题或关键词查找文章来源也以失败告终。 　　从检索中我们可以得到如下统计数据。英语考试辅导占到符合搜索条件的文本的61.5%，但它们不能算作是发生在“真实生活”中的文本，它们是与“真实生活”进行比对的对象：写作考试试题。课堂作业占到30.5%。其他没有明确来源的200至300词议论文占8%。 　　我们搜索“200 words argument”或“200 words argumentation”得出类似结果。实际上，即使我们输入“xx words argumentative essays”，所得到的结果都十分相似，绝大部分检索结果都指向学生考试和作业。 　　接着，我们放宽特征条件，从“short argumentative essays”中寻找短篇议论文存在的语境。其中一个网站www.省略具有代表意义。打开网站，我们发现该网站申明“Argumentative Essays has provided 59，780 students all over the world with A-grade essays.”（议论文网站已给世界各地的超过59780个学生提供了获得“A”的文章），即短篇议论文的重要来源和服务对象都是学生考试或作业。其他各链接的网站所强调的内容也十分相似。 　　从以上我们可以得出三个结论：1. 学生作业占到“真实生活”中的200至300词议论文文本的为92%以上；2. 在课堂或学术作业以外的“真实生活”中，文章不是按字数和文体分类的；3. 我们从作文特征出发的研究方法可能存在着概念“先入为主”的逻辑问题。不过，从语境出发的研究可以弥补这个可能的缺陷。

本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文

　　 　　四、从真实语境出发的研究 　　 　　我们从对比的另一端出发，即从“argumentative essays”出现的环境出发统计200至300词议论文出现的比例。我们首先在Google中输入“newspapers”，查阅了英美出版的15份报纸，发现“argumentative essays”集中于“社论”和“读者评论”两个栏目。为了方便数据统计，我们进一步输入“newspaper editorials and opinions”。经统计30份报纸，我们发现社论的篇幅一般在800词以上，200至300词的读者评论综合统计占到所有评论的20%。 　　在“magazines”范畴中我们进行了类似检索，得出的结论与在报纸上的检索接近，200至300词的评论所占比例甚至更低，约占所有评论的5%。 　　 　　五、结论 　　 　　200至300词短篇议论文主要存在于有限的语境中，如主要存在于教育环境。特别是学生的作业之中。200至300词议论文在“真实生活”的其它语境中，如常见的报纸、杂志中出现的频率很低。因此200至300词议论文的最广泛的真实使用是“学生的学习活动或学术活动”。 　　那么，短篇议论文大量地存在于学生作业中的原因是什么呢？从实用角度看，短篇议论文所具有的第一优点是：教师能够在相同时间里阅读更多学生的作业。还有两个有趣的现象似乎可以为短篇议论文的200至300词约定作注脚，一个是普通人的正常阅读速度大约每分钟300词，第二个是人们在演讲中的速度大约是每分钟200词。因此，短篇议论文还可能减少教师的阅读疲劳，同时提高学生的表述效率。 　　毫无疑问，短篇议论文在雅思考试中，特别是在为招收海外留学生设计的学术类考试中，以及在托福考试中的出现具有相当高的卷面效度，因为留学生在海外进修时将要面对的就是经常性的短篇议论文写作作业。 　　但是专业四级中相同题型的写作题未必具有很高的卷面效度，因为中国大学生，即使是外语专业学生也极少交付以短篇议论文为形式的作业。期中、期末测试也不是以写学期论文的形式出现，而是传统的试卷测试。其次，中国学生很难读到在英文报纸的“读者评论”栏目中才会较频繁出现的200至300词的议论文。因此，在目前中国大学教育的环境下，短篇议论文写作的卷面效度很低。写作考试与其说是考查学生的写作能力，不如说是考查学生1分钟演讲的能力；英语水平与其说与思辨能力、逻辑能力相关，不如说与演讲水平相关。 　　我们建议提高短篇议论文在英语专业学生作业中的比例，提倡交评论性的作业，鼓励以写学期论文代替部分期末考试。只有这样，四级英语写作考试才有可能在不改变现有题型的情况下逐步提高其卷面效度。 　　 　　参考文献： 　　［1］Alderson，J. Charles. Language Test Construction and Evaluation：172. Cambridge University Press，1995. 　　［2］Ingram，E. Basic Concept in Testing. In J.P.B. Allen and A. Davies (eds.)，Testing and Experimental Methods：18. Oxford：Oxford University Press，1997. 　　［3］Morrow，K. Communicative Language Testing：Revolution or Evolution? In C.J. Brumfit and K. Johnson (eds.)，The Communicative Approach to Language Teaching. Oxford：Oxford University Press，1979. 　　［4］Stevenson，D.K Authenticity，Validity and a Tea Party. Language Testing 1985，2(1)：41-47. 　　［5］王振昌等.高级英语写作教程.外语教学与研究出版社，1985：104. 　　 　　注：“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。”

本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文