作业帮罗亮：基础音视频服务和AI是直播课技术两大核心( 二 ) 作业帮副总裁罗亮在做“后疫

基础的音视频服务之外，在未来直播课中我们认为会大放异彩的是AI技术。我们用AI做什么呢？就目前的行业技术而言，我们在教学领域应用最多的是视觉技术和语音技术。
文章插图
以视觉技术为例，我们可以利用视觉技术对学生在课堂上的学习情况、表现情况进行感知。通过视觉技术能够帮助主讲老师收集学生在课堂上的表现情况，包括注意力是否集中、是否有家人陪同、坐姿是否端正等。这些行为的识别、分析和汇总，能够帮助主讲老师及时了解所有学生的上课状态，比如内容是否难度偏大，学生整体的接受度如何，是否需要着重讲解或者是转换讲课方式。同时也能够帮助辅导老师关注学生的学习行为。如学生状态有异常，老师直接收通知，会提醒学生更好地投入到学习中去。学生在上课过程中，如果离屏幕太近，我们也会对他进行提醒。
每节课结束后，我们会综合汇总学生当节课各种行为、注意力集中状态、答疑情况等，智能分析的学生行为数据，汇总后呈现给老师，老师基于这个完整的报告来评估自己教学情况，不断提高自己的教学水平。
文章插图
另外一种形式是语音技术，我们自研的AI语音技术提供了语音发弹幕的能力和服务。在小低年级，孩子最自然的交互形式是说话，学生们可以用语音发送自己的弹幕，这样极大提升了学生在课堂当中的参与感和积极性。而且在一些英语学科当中，口语的读写、听写能力都是非常重要的，我们也能通过AI技术对用户的读音的效果进行评分，汇总到老师那里，可以让老师和学生进行反馈互动，你答得好不好、你答得怎么样，这样的技术在当今的直播课里面、AI课里面大量使用。
同时，通过语音技术还能提升交互能力。我们有一种教学类型叫集体发言，六个学生针对老师提出的问题一起来发言，这个时候我们会发现一个问题，每个学生既要听得见同学们的声音，还要不被发出来的声音回声所干扰，这需要大量噪音消除、回声消除的技术，让同组学生，也让老师能听到学生们的清晰发言。
所以其实我们可以看到直播课技术的两大核心，一是基本的音视频传输能力和互动能力，二是利用AI技术提升学生课堂中的互动效果。
AI技术是算法、模型和数据的结合体其实AI是什么呢？AI是算法、模型和数据的结合体，我们在这上面的成果，源于作业帮长期的技术和数据积累，尤其是在作业帮拍照搜题这个场景下的不断探索。
作业帮APP是中国全网流量里面APP活跃度TOP30的教育类APP ，我们的月活过亿。在这5年的过程里面，我们累积了20000TB的学习数据，同时也积累了超过2.5亿的行业题库。
疫情期间，对拍照搜题业务也提出了新的挑战。过去对着书本或者手写的文字，疫情期间出现了很多对着屏幕拍照的需求，增加了对识别技术的要求。比如电脑屏幕有闪烁，有摩尔纹，有反光，这些新情况，需要不断的去迭代和优化，尽可能的去提升用户搜索的准确率和召回率。
拍照搜题是作业帮积累最久的一个技术，经过5年多不断的迭代和创新以及积累，目前已经是一个结合神经网络，集群化的识别引擎。我们在5年前拍一道题得到它的答案大概可能要七八秒钟的时间，但是到了今天通过不断提升的神经网络，我们能做到在200ms内完成识别解析，然后从包含2.5亿个题目的搜索引擎里匹配到最佳的结果。
其实在这个过程中我们经历了非常多的挑战，从最开始的准确率低到令人发指，到今天我们能应对模糊、倾斜、干扰各种低像素的相机，很多用户的设备是拿着家长淘汰下来的旧手机、老手机，像素低、内存小，拍出来的质量参差不齐。
长期面对这种低像素、模糊、倾斜、干扰等等的输入，倒逼我们去不断的提升识别的效果，也帮助我们积累了大量的宝贵数据，提升了模型的能力，形成一个正向循环。通过不断的积累在AI方面的技术能力，我们也把这些能力应用到了更多的场景中去，提供更好的产品，比如整页拍搜、自动批改，自动答题等功能。
我们在这个过程中能看到技术对在线教育起非常大的促进作用，在疫情的冲击下，各行各业都起了很多的变化。在线教育在后疫情时代被推上了历史的舞台，中央也在“十四五”的规划里面提出要建设高质量的教育体系。在线教育不仅可以促进教育普惠，推动教育均衡发展，还可以激发优质教育新供给，推动中国教育迈向数字化、智能化、个性化的新台阶。