上海脑中心认知智能组与科大讯飞及复旦合作 团队夺得美国高考数学问题自动答题竞赛冠军

时间:2019-02-15 09:01:00 来源:

上海脑科学与类脑研究中心认知智能组周熠研究员与科大讯飞智慧教育研究团队及复旦大学自然语言处理团队合作,在2019年2月6号刚落幕的美国高考数学问题自动解答大赛(Math Question Answering)的132支参赛队伍中脱颖而出,夺得总分第一以及代数题、应用题、几何题三个子项目的全部冠军。总准确率达到45%,是其它参赛队伍的两倍以上(名列第二的也是同一团队提交的测试版本)。其中,代数题更是达到了71%的准确率。

http://alt.qcri.org/semeval2019/index.php?id=tasks

SemEval 2019年Math question answering比赛的最终榜单

美国高考数学问题自动解答大赛是由国际语义评测研讨会(International Workshop on Semantic Evaluation,SemEval)组织,面向美国高考数学科目的机器自动答题国际竞赛。该比赛覆盖了美国高考(Scholastic Achievement Test,SAT)数学科目的所有类型题目,难度与美国真实的高考水平完全一致,训练集合来自历年的美国高考数学科目的真题,其主要包括三种类型:

代数题(Closed-vocabulary algebra)

例: "Suppose 3x y = 15, where x is a positive integer. What is the difference between the largest possible value of y and the smallest possible value of x, assuming that y is also a positive integer?"

应用题(Open-vocabulary algebra)

例:"At a basketball tournament involving 8 teams, each team played 4 games with each of the other teams. How many games were played at this tournament?"

几何题(Geometry)

例:In the diagram at theright, circle O has a radius of 5, and CE = 2. Diameter AC is perpendicular to chord BD. What is the length of BD?

上海脑科学与类脑研究中心认知智能组周熠研究员与科大讯飞智慧教育研究团队及复旦大学自然语言处理团队合作,吸收和融合科大讯飞在智能教育积累多年的技术经验,将研究中国高考自动答题的相关技术融入到美国高考的研究中。一举斩获首届该项赛事的冠军,并大幅度领先于其他参赛队伍。

之所以团队取得了比其他队伍高出一倍的准确率,是因为团队不仅有强大的工程实现能力,同时也在理论上有所突破。在知识表示与推理方面,团队提出了比经典逻辑更加简单和表达能力更强的断言逻辑(Assertional Logic)知识表示语言,并在此基础上提出基于断言逻辑的深度推理框架,应用于美国高考数学推理之上,获得很高的答题准确率。

在自然语言理解方面,团队提出了新的将基于神经网络的深度学习和符号计算的专家系统有机融合的自然语言理解方案,从而达到较强的题意理解准确率。

在工程工程实现和系统整合方面,团队针对不同类型数学问题,进行不断迭代优化,使最终的高考数学自动答题系统不仅有较高的准确率,也同时具有小样本依赖、可解释、可推理、可定位等能力及特点。此外,团队还推动此类技术在智慧教育产品中的落地应用。精准诊断每位学生在学习中的薄弱点,个性化定制学生因材施教学习计划。目前该产品已覆盖学校上万所,服务师生1500万。