EMBA網訊：日前舉行的“清華五道口金融EMBA&EE 2018新年思想匯”上，清華大學計算機系人交互與媒體集成研究所長、全球創新學院 (GIX) 院長史元春，作為清華五道口“科學企業家”項目的授課教授代表，進行了題為“智能交互——讓機器更懂你”的分享。

　　她認為在普適計算機時代，隨著更多嵌入式設備的出現，如何更加自然地進行人機之間的信息交換具有重要意義。人機交互的目的是為了讓機器更懂“你”，讓用戶更加自如。她還通過“胖手指”、“空中打字”等案例分享了人機交互領域一些前沿的技術突破，并表示未來有望通過數據采集和建模來捕捉用戶的所有姿態和行為，從而生產出真正理解用戶的手機，讓手機交互行為的感知更加精準和智能。史元春表示，人工智能技術的深度應用，能做到從模糊的行為習慣中解讀出準確的意圖，將為未來人機共生提供可靠的技術基礎。

　　以下為史元春演講實錄：

　　各位下午好，非常榮幸有機會和五道口金融學院的老師和同學們交流，我叫史元春。我跟大家的經歷不太一樣，來自于計算機系。并且我在這個學校和計算機系有30多年了，從學生到老師。簡介中談到我是GIX學院院長。GIX的英文叫Global Innovation Exchange，是清華大學全球創新學院，它也是清華第一個在海外辦學的學院，是清華在兩年多以前在美國西雅圖和華盛頓大學聯合創辦的，很歡迎我們更多的五道口金融學院的同學，能夠有機會去西雅圖，到清華這個特別的校區來學習和交流。

　　今天這個演講的題目是關于我的科研的，叫智能交互。這里的交互是指人機交互。我們知道計算機的發展歷史只有幾十年，不是很長，但是這幾十年來它已經和正在為我們的社會發展帶來了巨大的變化，在計算機的發展過程中，人機交互也就是人和機器之間的信息交換的技術，我們可以不夸張的說，也是一項引領性的技術。

　　從我的這個表上大家應該可以看的出來，隨著接口技術的變化，交互模式也發生了變化，計算機從實驗室、機房已經走到了我們的辦公室、家庭，甚至今天已經都走到了我們的手上，計算機的臺數也發生了極大的數量級變化。

　　到了今天，我們已經走到了所謂的普適計算的時代，也就是說在我們的工作和生活的很多方面，我們有特制的手持的設備，像今天的手機，也有更多的嵌入式的系統，像家電設備，還有更多社會生活場景會有越來越多這樣的設備，我們人們會有更多、更頻繁的，并且希望與更自然的方式，和這些機器發生著關系。

　　也就是說我們可能會與手持的設備、家電的設備、穿戴的設備，機器人和無人車，以更自然的模態，比如包括用語音、用語義豐富的手勢，甚至是我們日常的行為，在很多的場景中與機器和計算系統發生互動，有效進行信息訪問，并接受信息系統提供的現實服務。所謂的自然，就是指人不需要很精準的表達，是一種模糊的表達和傳達的方式。但是，在機器端能夠給我們精準的理解和服務。

　　我們今天的這些交互方式其實還是很規范的，甚至我們都在用的手機，也是規范交互的方式，基于一個嚴謹的結構，一個抽象的概念，有一定的學習甚至是記憶負荷，還需要比較準確的表達。

　　要實現人的模糊的表達，到精準的服務之間，需要克服這樣一些技術挑戰：比如我們的交互意圖很內在，我們獲得的數據隨機性很大，用戶行為的差異性也非常大，應用的場景也是各式各樣的。因此，這些問題需要我們在相應的研究中來進行克服，并且人機交互既包括我們所使用的各種直接的、離用戶很近的接口，也包括一個交互過程的優化。

　　簡單看看接口，應該包括計算機采集用戶輸入意圖的輸入接口和計算機處理結果反饋給用戶的輸出接口。

　　從輸入來看，人的意念產生了一個訪問的請求，當然未來如果腦機接口的技術，也就是所謂讀腦的技術能夠發明的話，那我們就可以直接來獲取用戶的意圖。但是，大家可以看到我這個圖上畫的還是一個虛線，今天還是不太現實的，那么我們的意念還是要通過我們的行為系統傳達給機器。我們的行為可以是使用工具，也可以剛才講到，像自然語言和各種姿態。

　　今天在我們的傳感技術和識別的技術都有了很多的進步，比如說大家用的這個手機屏，留了一個小劉海，那是因為這塊上面有十幾個傳感器，還不能在屏下，只能單獨的露出來。我們現在的家庭里面可能已經有智能音箱來幫助我們服務，這個是語音識別技術的進步。甚至于人臉識別已經變成了我們身份的ID。

　　這些技術實際上在幾十年前都已經提出來，最近的人工智能和大數據的進步使得成為現實、可用。但是，在交互接口上還有很多需要優化和需要創新的方面。

　　這里我舉兩個具體的例子：大家都在用手機，手機上面我們還有文本輸入這樣一個基本的任務。大家在用微信，今天會場也有不少人在用，這個時候你通常是在敲，而不是用語音識別，因為需要一個靜默的環境。你敲的時候，大家如果用過電腦的話，你會覺得你的速度比用物理鍵盤慢了一倍，為什么慢?這就是人機交互中很典型的一個問題“胖手指問題”，是因為我們的手指，遠比我們點擊的對象要大的多。也就是對象的精準點擊，用我們的fat finger是很難完成的，所以點不準你就慢下來了。

　　今天在場有不少人也戴了智能手表，就像這個圖一樣，我可以給你裝一個軟件，也會有一個軟件全鍵盤，但有人會用嗎?你肯定想著我不會用，因為基于我們在手機上進行輸入的速度和體驗來說，2毫米的小鍵盤根本不可用，這是一個典型的fat finger問題。

　　這里給大家看一個我們實驗室的研究結果，這是我們在手表上做的一個全鍵盤，會看到輸入的速度還是可以接受的，實測的結果，跟你在用手機進行輸入的速度是一樣的，每秒30-40個字左右。這是靠我們對電容圖像的智能處理和自然語言模型相結合獲得的結果，在一定程度上克服了所謂的胖手指問題。

　　用同樣的原理，我們還可以提供手機上很現實的一項技術，叫防誤觸。手機的屏幕現在越來越大，有全面屏和曲面屏，同時也會帶來一個問題，你握著它的時候會誤觸。

　　同樣。我們在多特征的圖像處理算法上的一些進展，使得我們在防誤觸上有比較大的進步。最近華為剛發布的mate10以及剛剛在美國發布的mate10 pro，相信在坐也有人在用這個手機，它上面每秒120次一直在運行一個高性能的誤觸檢測算法，就是我們實驗室做出來的。從原來有的產品13%的誤觸率，我們通過新算法直接降到0.3%，這個體驗還是非常好的。

　　自然交互中，我們還很期待一些很科幻的場景。比如我們在很多科幻片中會有像手勢、姿態的交互和識別。實際上手勢識別或者姿態的識別，在人機交互是一個很難的命題，要與具體交互任務相結合，比如空中打字，也就是一抬手就在敲你想打的字，前提是你已經有了盲打的習慣。

　　在20多年前，大家就已經設想，未來應該能夠實現這樣的技術。右下角是蘋果多年前曾經設想的，在臺式機上不用物理鍵盤，抬手就可以打字。

　　上面這個照片，是我當年訪問微軟、戴著即將發布的hololens， VR、AR技術使得我們眼前可以呈現三維的虛擬對象，需要打字時，眼前出現的是一個二維的軟鍵盤，但點擊速度很慢。

　　看一下我們做的實驗結果，對人在空中打字行為所攜帶的信息量充分挖掘、進行建模。充分挖掘是說，我們的主動手、被動手，主動手指、被動手指，以及手的位置的變化、落點和語言模型的結合，可以實現幾十年前的理想，科幻的場景。

　　交互意圖的理解，我們建立了一套通過數據采集、行為建模以及AI的一些分類算法，最終實現特定交互任務的一套研究方法和體系。我們把它用在手機上，希望通過眾多傳感器捕捉更多用戶的姿態，包括握姿、面部表情甚至眼神等，我們會提供一個手機交互全行為感知的能力，未來大家在使用手機上會有更好的體驗。

　　從這個角度，所謂智能交互的研究，也就是我們把一些模糊和用戶行為習慣識別為具體、準確交互意圖的研究，大有可為。即便從我們今天在手機這個問題上來看，我們也僅僅剛剛開始。

　　大家不要以為我們今天的智能手機只是10年前才有，其實30年前就有了，這是美國很普及的一本雜志《大眾科學》在1995年的封面文章，就是1988年左右PARC研制的智能手機，實際上是iPhone原型系統。當時就有各種計算、傳感和應用，以及識別的能力。

　　它跟我們人類的思想者緊密的結合在一起，共同互相了解和支持，就有更多的發現世界和增強能力。隨著計算更多滲入到我們生活更多方面，智能技術的進步，也將為人機共生的美好前景提供支撐的技術。

　　很高興有這樣的機會跟大家分享，祝大家新年好!

　　文/清華五道口金融學院