老师您好,写作评阅人工智能了解一下

新学期即将开始,学生们还沉浸在假期的欢乐中,英语写作教师们却已经开始为课程做准备了。老师们即将面对的,不仅仅是超长的课时和偌大的课堂,还有厚厚的作业。如何才能提高作文评阅效率呢?在不久前结束的“外研社杯”全国英语写作大赛中,iWrite 2.0作为官方唯一指定评阅系统,在初赛和复赛中发挥了重要作用,赢得了师生的一致好评。iWrite作为一款“人工智能”产品,究竟是如何赋能英语写作教学的呢?小编带您了解一下!

老师您好,写作评阅人工智能了解一下

老师

老师您好,写作评阅人工智能了解一下

在写作大赛如此高利害的场景中应用智能评阅技术,我们这些对智能评阅不太了解的老师心里还真的没底呢。iWrite机评分数可靠吗?

老师您好,写作评阅人工智能了解一下

业界一般会用“相关系数”来衡量人机评分的可靠性。相关系数反映了两个变量之间的线性相关程度。相关系数高也就代表着人机评分的一致性比较高。



以2017年 “外研社杯”全国英语写作大赛复赛的实考作文为例,我们对山西、吉林、上海、浙江、河北、湖南、宁夏、陕西、云南、重庆、福建、甘肃、黑龙江和贵州等14个省(市、自治区)的含有人评成绩的934篇说明文和1202篇议论文评分进行了分析。研究表明,说明文和议论文的人机评分相关系数分别达到了0.92和0.84!测试学上一般认为相关系数绝对值在0.7到1之间属于强相关,可以说iWrite的机评分数是非常可靠了。下面这张分数分布情况图可以帮助老师更直观地看到人机评分的一致性哦。

老师您好,写作评阅人工智能了解一下
老师您好,写作评阅人工智能了解一下

老师

老师您好,写作评阅人工智能了解一下

 明白啦!那么iWrite究竟是怎样实现这么高的人机评分相关性的呢?

老师您好,写作评阅人工智能了解一下

这就不得不提到iWrite独特的评分构念啦。北外中国外语与教育研究中心专职研究员梁茂成教授依据二语写作的评价理论,在调查几百种作文评价标准并经过上万次试测后确定了iWrite的评价构念。iWrite从语言、内容、篇章结构和技术规范等四个维度对作文进行评价。作文评价构念科学合理,评分自然也就合理啦。

老师您好,写作评阅人工智能了解一下
老师您好,写作评阅人工智能了解一下

老师

老师您好,写作评阅人工智能了解一下

赞!语言就是指的语法错误吗?

老师您好,写作评阅人工智能了解一下

每个维度下都会有若干子维度,iWrite是根据作文在每个子维度的表现分别打分,最后给出总分的。比如语言又分为准确度、流利度和复杂度,对于准确度,梁茂成教授在分析大量中国英语学习者作文后提出了一套错误体系,该错误体系包含“句法类”、“词法类”、“搭配类”、“技术规范”和“其他”等五大错误类别30余种错误子类,能够全面涵盖中国学生英语作文中常见的语法错误。

老师您好,写作评阅人工智能了解一下

老师

老师您好,写作评阅人工智能了解一下

明白了!我还对内容维度很感兴趣,难道iWrite能跟人一样读懂作文意思?

老师您好,写作评阅人工智能了解一下

没错!iWrite独创了基于联想词库的内容评阅方法。它可以借助词与词之间的联想关系来判断作文是否跑题、是否连贯。举个小例子,机器评分之前需要输入5个以内的作文关键词,比如输入“education”,我们根据常识可以知道,“school”是与教育紧密相关的一个词,“job”与教育的联系可能稍微远一些,“table”可能就更远了。就这样,iWrite会将学生作文同关键词之间的联想词、文本内部句子之间、段落之间的联想词进行分析运算,最终实现对切题性和连贯性的判断。

老师您好,写作评阅人工智能了解一下
老师您好,写作评阅人工智能了解一下

老师

老师您好,写作评阅人工智能了解一下

嗯~道理大概明白了,能不能举一些具体的例子让我们看看iWrite是怎样区分切题作文和跑题作文的?  

老师您好,写作评阅人工智能了解一下

当然可以。以2017年“外研社杯”全国英语写作大赛复赛的一道议论文题目——On Facial Recognition为例。根据题意,我们将关键词设置为:face、recognition、nightmare、technology和feature。我们先看两位选手的作文开头:  

老师您好,写作评阅人工智能了解一下

这两段话虽然都谈到了facial recognition,但是明显第二篇开头讨论了过多关于手机的内容,没有第一段话那么切题。两篇文章的内容得分也有差距:第一篇切题度78%,连贯性65%;第二篇切题度68%,连贯性52%。看,iWrite是不是准确将两篇作文的档次拉开啦?

老师您好,写作评阅人工智能了解一下



老师您好,写作评阅人工智能了解一下

老师

老师您好,写作评阅人工智能了解一下

这真是太棒了!有了iWrite,就省得我们老师一字一句读学生作文了,改作业的效率也能提高!

老师您好,写作评阅人工智能了解一下

是的呢!很多高校的老师现在都在使用iWrite,真是省了不少精力呢!

老师您好,写作评阅人工智能了解一下



新学期开始了,各位老师还在等什么,快快点击阅读原文注册iWrite,为自己减减负吧!