IBM研究院和倫斯勒理工學(xué)院 （RPI） 正在攜手開(kāi)創(chuàng)幫助學(xué)生學(xué)習(xí)漢語(yǔ)的新途徑，希望以 AI 技術(shù)支持的助手配合沉浸式課堂環(huán)境進(jìn)行教學(xué)，這在語(yǔ)言教學(xué)領(lǐng)域是前所未有的創(chuàng)舉。這種課堂名叫認(rèn)知沉浸室 （CIR），能讓學(xué)生感覺(jué)自己置身于中國(guó)的餐館、園林或太極學(xué)習(xí)班中，與 AI 聊天機(jī)器人練習(xí)漢語(yǔ)對(duì)話(huà)。CIR 是由 IBM 研究院和 RPI 合作的研究機(jī)構(gòu)認(rèn)知與沉浸式系統(tǒng)實(shí)驗(yàn)室 （CISL） 開(kāi)發(fā)的。
要學(xué)習(xí)一門(mén)新的語(yǔ)言，特別是像漢語(yǔ)這樣高難度的語(yǔ)言，必須讓學(xué)生獲得大量實(shí)際練習(xí)對(duì)話(huà)技能的機(jī)會(huì)。通過(guò)沉浸式的文化氛圍自然而然地掌握一門(mén)新語(yǔ)言，可能要比非沉浸式的練習(xí)有效得多。但是，大多數(shù)漢語(yǔ)初學(xué)者無(wú)法獲得體驗(yàn)式學(xué)習(xí)的機(jī)會(huì)。這就是我們開(kāi)發(fā) CIR 的初衷。
沉浸式游戲化課堂環(huán)境
為了實(shí)現(xiàn)多種模式的自然沉浸式對(duì)話(huà)，CIR 綜合了語(yǔ)音文本轉(zhuǎn)換，自然語(yǔ)言理解和計(jì)算機(jī)視覺(jué)等多種先進(jìn)技術(shù)。教室里放置了一套 360 度全景式顯示系統(tǒng)、一套音頻系統(tǒng)、多個(gè)攝像頭、多部 Kinect 設(shè)備和多個(gè)話(huà)筒，當(dāng)然還有用于支持 AI 技術(shù)的計(jì)算機(jī)系統(tǒng)，其中一部分放在教室里，還有一些位于云端。
我們的目標(biāo)是將沉浸式的認(rèn)知技術(shù)與游戲元素相結(jié)合，讓學(xué)生體驗(yàn)到一種文化環(huán)境，練習(xí)日常對(duì)話(huà)任務(wù)，并且獲得智能助手的幫助。我們通過(guò)漢語(yǔ)項(xiàng)目，在 CIR 中使用 IBM Watson 作為對(duì)話(huà)機(jī)器人，與學(xué)習(xí)漢語(yǔ)的學(xué)生進(jìn)行交流。該項(xiàng)目采用了 IBM Watson 語(yǔ)音識(shí)別技術(shù)和針對(duì)英漢兩種語(yǔ)言的自然語(yǔ)言理解技術(shù)。
在通過(guò)沉浸式氛圍學(xué)習(xí)外語(yǔ)的過(guò)程中，學(xué)生遇到的最大障礙之一就是，害怕被母語(yǔ)使用者評(píng)判。但是在 CIR 中，學(xué)生可以借助虛擬的對(duì)話(huà)合作伙伴來(lái)練習(xí)詞匯和發(fā)音，不必承受真實(shí)環(huán)境中的壓力。
許多語(yǔ)言學(xué)習(xí)研究者都在使用虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)技術(shù)，但我們研究的是真人沉浸式游戲環(huán)境，學(xué)生不需要穿戴專(zhuān)門(mén)的設(shè)備，就可以在這樣的環(huán)境中實(shí)際游覽。這反映了人機(jī)交互領(lǐng)域的一個(gè)大趨勢(shì)，那就是我們?cè)谌粘Ｉ钪械男畔⒔涣鲗?huì)有更強(qiáng)的沉浸感，而人們與智能機(jī)器的交互也會(huì)向深度融合的方向邁進(jìn)。
2017 年晚秋時(shí)節(jié)，我們的系統(tǒng)已經(jīng)在 RPI 校園里的中文 1 級(jí)課程中接受了測(cè)試。今年秋天，我們將繼續(xù)在中文 1 級(jí)、2 級(jí)和 3 級(jí)課程中使用 AI 作為教學(xué)工具，目標(biāo)是在 2019 年夏天推出綜合中文 1－3 級(jí)內(nèi)容的新課程。
課堂背后的研究 —— 不僅僅是研究課堂
認(rèn)知與沉浸式系統(tǒng)實(shí)驗(yàn)室（CISL） 是 IBM 人工智能地平線(xiàn)網(wǎng)絡(luò) （IBM AI Horizons Network） 的一部分，專(zhuān)門(mén)構(gòu)建并運(yùn)用各種先進(jìn)的技術(shù)，包括上下文感知系統(tǒng)（context－aware systems）、語(yǔ)音聲調(diào)軌跡分析（pitch tone contour analysis）、人類(lèi)與 AI 機(jī)器人之間自然語(yǔ)言對(duì)話(huà)中的中英雙語(yǔ)切換（language－switch between Chinese and English in a natural language conversation between people and AI agents）、多用戶(hù)多模式交互（multi－user multimodal interaction）、決策過(guò)程中的推理和規(guī)劃（reasoning and planning in the decision－making process），以及自動(dòng)生成描述、視覺(jué)和聽(tīng)覺(jué)信息的多模式故事敘述（multimodal storytelling with automatic generation of narrative， visualization and sonification）。
認(rèn)知沉浸室 （CIR） 是 CISL 的四個(gè)應(yīng)用案例之一。該實(shí)驗(yàn)室還致力于增強(qiáng)群體智能，用于董事會(huì)等現(xiàn)實(shí)環(huán)境中的關(guān)鍵決策。在未來(lái)，這些新型認(rèn)知與沉浸式系統(tǒng)將會(huì)從根本上改變?nèi)藗兊纳詈凸ぷ鞣绞健IR 的早期原型已經(jīng)提供了很多研究用戶(hù)交互的機(jī)會(huì)，讓我們能夠發(fā)現(xiàn)并應(yīng)對(duì)語(yǔ)言學(xué)習(xí)領(lǐng)域的新挑戰(zhàn)。
