讓人工智能(AI)去做SAT(學(xué)術(shù)能力評(píng)估測(cè)驗(yàn)，俗稱“美國(guó)高考”)數(shù)學(xué)題，“世界冠軍”能拿幾分?2月6日，上海腦中心/張江實(shí)驗(yàn)室認(rèn)知智能組與科大訊飛及復(fù)旦大學(xué)的合作團(tuán)隊(duì)，奪得了SAT數(shù)學(xué)問(wèn)題自動(dòng)答題競(jìng)賽世界冠軍，成績(jī)約合360分。即滿分800分的考題，綜合準(zhǔn)確率為45%。
相較于申請(qǐng)美國(guó)名校的中國(guó)考生700分以上的高分，AI的表現(xiàn)似乎有些“孱弱”。對(duì)此，上海參賽團(tuán)隊(duì)負(fù)責(zé)人之一、上海腦中心研究員周熠表示，解答SAT試題，尤其是綜合題，需要突破人工智能中自然語(yǔ)言和圖像理解、知識(shí)表示和深度推理等多重難關(guān)，這對(duì)于目前的弱人工智能而言，仍是難以完成的挑戰(zhàn)。“如果能讓人工智能取得SAT高分，將對(duì)這項(xiàng)技術(shù)的發(fā)展產(chǎn)生重要影響。”
對(duì)人工智能而言，參加高難度學(xué)業(yè)測(cè)試遠(yuǎn)比下圍棋困難
2016年，“初級(jí)圍棋”(AlphaGo)讓人類棋手鎩羽而歸時(shí)，不少人驚呼：人工智能要超越并替代人類了!其實(shí)，早在2011年，IBM沃森機(jī)器人就在智力問(wèn)答競(jìng)賽中擊敗人類，贏得冠軍，成為人工智能發(fā)展史上的一個(gè)里程碑。
然而，要應(yīng)付SAT這類高難度學(xué)業(yè)測(cè)試，不僅需要強(qiáng)大的計(jì)算能力，更需要理解人類思考和信息處理的過(guò)程——如果能順利通過(guò)SAT，將為人工智能技術(shù)發(fā)展樹(shù)起新的里程碑。
2011年前后，日本開(kāi)始嘗試研發(fā)相關(guān)人工智能系統(tǒng)，目標(biāo)是讓機(jī)器人考上東京大學(xué)。可惜2015年、2016年人工智能兩次都未能考出理想成績(jī)，研究者最終選擇放棄，因?yàn)樗麄兛床坏较到y(tǒng)提升的希望——要突破其中的技術(shù)難點(diǎn)，實(shí)在太困難了!
周熠告訴記者，解答SAT或高考試卷主要有兩大步驟——首先要理解題意，其次是推理和答題。這對(duì)人類來(lái)說(shuō)，難度并不太大，可對(duì)計(jì)算機(jī)而言，卻是極度困難的任務(wù)，每一步都埋伏著重大挑戰(zhàn)，需要理論上的突破以及強(qiáng)大的工程能力作為支撐。
從眾多現(xiàn)有技術(shù)看，比如百度搜索，僅能從語(yǔ)法層面匹配字符串，并不能從語(yǔ)義層面理解字符串背后的含義。而在推理層面，當(dāng)前人工智能在應(yīng)用上獲得成功的主要技術(shù)，比如深度學(xué)習(xí)和知識(shí)圖譜等，只能進(jìn)行非常簡(jiǎn)單的淺層推理，而解答SAT或高考綜合題，往往需要多達(dá)20步推理步驟。
理論上有突破，答題準(zhǔn)確率遙遙領(lǐng)先其他團(tuán)隊(duì)
根據(jù)機(jī)器語(yǔ)義理解方向的當(dāng)前學(xué)術(shù)難點(diǎn)和熱點(diǎn)，人工智能權(quán)威組織之一——國(guó)際語(yǔ)義評(píng)測(cè)研討會(huì)每年會(huì)遴選舉辦數(shù)項(xiàng)國(guó)際賽事。去年，機(jī)器人考試競(jìng)賽首次入選。
“之所以選擇SAT，是因?yàn)樗鼘?duì)目前的人工智能技術(shù)提出了重要挑戰(zhàn)，這些挑戰(zhàn)涵蓋人工智能的很多方面，包括知識(shí)表示與推理、機(jī)器學(xué)習(xí)、自然語(yǔ)言理解與圖像理解等。”周熠介紹，自2015年起，在863項(xiàng)目支持下，我國(guó)也開(kāi)始研發(fā)考試人工智能系統(tǒng)。此次奪冠的人工智能“選手”就是幾年攻關(guān)的成果。
據(jù)了解，這次比賽共有來(lái)自全球各地的132支隊(duì)伍參賽，全部采取匿名形式。去年秋季報(bào)名后，每支團(tuán)隊(duì)都收到了一份答題規(guī)范和訓(xùn)練題集，然后利用這些資料開(kāi)始編寫(xiě)程序。直至今年1月底各團(tuán)隊(duì)提交參賽程序后，就靜候結(jié)果。
2月6日，競(jìng)賽成績(jī)揭榜，上海腦中心/張江實(shí)驗(yàn)室與科大訊飛、復(fù)旦大學(xué)聯(lián)合團(tuán)隊(duì)斬獲此次比賽的冠軍——答題綜合準(zhǔn)確率達(dá)45%，比第三名的21%高出兩倍多。
為何上海人工智能團(tuán)隊(duì)能以明顯優(yōu)勢(shì)領(lǐng)跑賽事?周熠說(shuō)，主要有三方面原因。
首先，團(tuán)隊(duì)用自主創(chuàng)新的“斷言邏輯”替代傳統(tǒng)數(shù)理邏輯來(lái)表示數(shù)學(xué)知識(shí)。斷言邏輯不僅表述更簡(jiǎn)單、表達(dá)能力更強(qiáng)，而且更便于深度推理。
其次，在題意理解方面，團(tuán)隊(duì)結(jié)合基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)和基于符號(hào)計(jì)算的專家系統(tǒng)這兩類迥然不同的人工智能方法。
最后，科大訊飛強(qiáng)大的工程實(shí)現(xiàn)能力為本次比賽提供了強(qiáng)有力的護(hù)航。
研發(fā)考試機(jī)器人蘊(yùn)含顛覆創(chuàng)新機(jī)遇，應(yīng)用空間廣闊
研發(fā)考試機(jī)器人，將推進(jìn)人工智能知識(shí)表示與推理、機(jī)器學(xué)習(xí)、自然語(yǔ)言理解、圖像理解、搜索等諸多領(lǐng)域最前沿技術(shù)的發(fā)展與融合。而且，一旦獲得成功，這些技術(shù)將很快在實(shí)際生活中得到廣泛應(yīng)用，包括智能客服系統(tǒng)、問(wèn)答系統(tǒng)、對(duì)話系統(tǒng)、智能輔助、企業(yè)知識(shí)庫(kù)、信息抽取等。
“‘初級(jí)圍棋’作為棋類應(yīng)用場(chǎng)景，運(yùn)用范圍十分狹窄，而與考試機(jī)器人相關(guān)的技術(shù)應(yīng)用和商業(yè)價(jià)值則要廣闊得多。”周熠透露，他們正在開(kāi)發(fā)能夠自由組合知識(shí)點(diǎn)和規(guī)則的新一代考試機(jī)器人。未來(lái)，團(tuán)隊(duì)希望在考試機(jī)器人中引入數(shù)學(xué)方法，比如反證、歸納、分情況討論等，這將是一個(gè)重大前沿突破?？拼笥嶏w正在將此類技術(shù)融合到智慧教育系統(tǒng)中，并已取得不錯(cuò)的進(jìn)展。
“不過(guò)，即使實(shí)現(xiàn)了突破，這也僅僅是弱人工智能通向強(qiáng)人工智能路上的小小一步。”周熠特別強(qiáng)調(diào)，這些點(diǎn)上的突破尚無(wú)法完全解決自然語(yǔ)言理解、常識(shí)問(wèn)題、自動(dòng)知識(shí)獲取等人工智能領(lǐng)域的重大科學(xué)問(wèn)題。
相關(guān)鏈接
SAT數(shù)學(xué)問(wèn)題自動(dòng)答題競(jìng)賽
SAT數(shù)學(xué)問(wèn)題自動(dòng)答題競(jìng)賽是由國(guó)際語(yǔ)義評(píng)測(cè)研討會(huì)組織、面向SAT數(shù)學(xué)科目的機(jī)器自動(dòng)答題國(guó)際競(jìng)賽。該比賽覆蓋SAT數(shù)學(xué)科目的所有類型題目，難度與真實(shí)考試水平完全一致，訓(xùn)練集合來(lái)自歷年SAT數(shù)學(xué)科目的真題，主要有代數(shù)、應(yīng)用、幾何三種題型。
關(guān)鍵詞：
