2017-08-09
记者日前获悉，一套可以实现电脑自动评分的英语作文评阅系统，本学期开始在包括浙江大学、浙江工商大学、浙江理工大学等在内的浙江、上海和江苏的十余所高校试用。对于机器评分的利弊，在师生中引起了不小的争论。
据悉，该英语智能作文评阅系统是由浙江大学外语学院与杭州某网络科技公司联合开发的，英语教师可以在专门的网络平台里创建自己的账户，设计英语作文题目以及内容。每篇设计好的英语作文题目都有一个作文序列号，学生可以登录学生账号，通过老师指定的序列号找到需要完成的英语作文题目，在电脑上输入作文后，电脑就会评出相应的分数。
试用该系统的浙江工商大学英语教师李玲表示，机器评分系统大致可以把握好文章，但是结果还是和人工评分有一些出入，例如一篇满分15分的作文，电脑得出的分数和她本人批阅的分数约有2分左右的出入，按照百分比换算，分数差值大概在10%左右。也有的学生表示，从电脑评分系统给出的评语来看，自己的语句表达不够完善，还有单词拼写错误，但具体是哪句语法和哪个单词有误就不得而知了。但也有师生表示，机器评分更加公正，避免了人工阅卷的主观性，而且可以大大降低教师的工作量，尤其是在大规模网考中，更能体现优越性。
记者在采访中了解到，尽管作文自动评分技术受到一些业内人士的质疑，但已在大规模考试如GMAT、托福等国际性英语考试和学生自我评估中得到了广泛应用。例如麦格劳-希尔集团加州考试中心推出的Writing RoadmapTM 2.0是一种可以帮助学生提高英语水平的在线教学辅助工具。其包含的自动打分和报告系统根据学生在思想与内容、逻辑和组织、论调、词汇选择、语言基础和流利度等六个方面的表现快速完成作文评价。此外，培生语言考试中心即将于今年10月正式推出的PTE Academic考试也采用了全新科技手段和机器评分技术。
作文自动评分系统的优点是不但可以节省人力、物力、时间等，而且评分更客观，评分标准定义清楚，不受人为因素影响。其他优点还包括即时性、快捷性等。一个合理的作文自动评分系统充分利用了统计技术、自然语言处理技术、信息检索技术等，从作文文本中挖掘能够直接反映文章质量的文本特征项作为变量，以有效地预测作文质量。
据悉，自动评分技术的研究起始于20世纪60年代。美国杜克大学教授Ellis Page率领研究团队于1966年开发出第一套作文自动评分系统PEG(Project Essay Grader)。后来，该项技术又得到了进一步发展。目前，国外较为成熟的自动评分系统除PEG外，还包括IEA(Intelligent Essay Assessor)，E-rater(Electronic Essay Rater)，IntelliMetricTM等。(详见链接)
而在国内，由于大学英语教学面临着学生人数众多的压力，因此通过借助自动作文评分软件，将有望突破写作批改量大、难度大的瓶颈，为教学双方带来切实的帮助。同时，也有利于为大规模英语考试如大学英语四、六级考试的作文阅卷带来更大的便利性和准确性。
正是在此背景下，我国的作文自动评分技术近年来也取得了一定进步。记者从中国外语教育研究中心了解到，由该中心梁茂成教授主持开发的“大规模考试英语作文自动评分系统”已于2005年申请了国家专利，并于去年初步研制完成。该成果受到了全国大学英语四、六级考委会主任、上海交通大学金艳教授、清华大学张文霞教授以及中国外语教育中心刘润清、王克非、陈国华教授的肯定。该项研究成果可实现对中国学生英语作文的大规模机器评分，具有极大的实用价值。
然而，作文自动评分系统并非万能，也受到了一些专家和学者的质疑。重庆大学外国语学院张梅副教授表示，首先，很多学校都没有足够的计算机。其次，有些权威人士认为，电子判分系统的准确性还有待进一步证实。第三，学生使用计算机的熟练程度在很大程度上会影响他们的得分。第四，学生可以采取很多技巧取悦电脑评分器而得高分(例如在GRE作文中用 “for example”“therefore”等清楚地界分段落等)。此外，在现有的技术水平下，电脑评分器无法发现有些幽默表达及独特的推理风格。
由此可见，机器评分还有一段很长的路要走。梁茂成教授认为:“通过计算机对学生作文进行自动评分是一个复杂的过程，需要总结前人的经验并不断汲取新的理念、开发新的技术。只有这样，才能找到对学生作文最具预测力的变量，保证机器评分的信度和效度。”
