早在100多年前,德國心理學家William Stern就推出了IQ測試,用來測量人們的智力。從此以后,IQ測試結果就成為現代生活中判定孩子學習能力以及成年人工作能力的一種標準。
IQ測試通常包括三類問題,即邏輯問題(如圖形推理)、數學問題(如發(fā)現數列規(guī)律)以及文字推理類問題,這些問題都是基于類比、分類、同義詞或反義詞設置。
正是文字推理類問題吸引了中國科技大學的王華正(Huazheng Wang)等以及北京微軟研究院的高斌等研究人員。電腦向來不擅長文字推理類問題,在一個自然語言處理機器里輸入文字推理類問題,機器的表現會很糟糕,甚至與一般人的能力相比都相距甚遠。
而現在,這一切都在發(fā)生著改變。研究人員研發(fā)的深度學習機器在處理文字類推理問題方面的能力已經首次超過了一般人。
最近幾年,電腦科學家通過使用數據挖掘技術分析巨大的文本語料庫,以發(fā)現語料之間的聯系。這尤其給王華正等科學家統(tǒng)計單詞出現模式帶來了極大的便利,比如某個特定的詞在其他詞前后出現的頻率。這就使得在巨大的參數空間里,理清單詞之間的關系成為了可能。
這樣,在這個高緯度空間里就可以將單詞看做一個個向量,像其他向量一樣,可以使用比較、增值以及減值等數學方法進行處理。這樣就會得到諸如下面的向量關系:國王—男人+女人=女王。
這個方法現在已經取得重大成功。谷歌假設相近向量代表的不同語言詞序列在意思上是對等的,實現了語言自動翻譯。
但是,這種方法有一個顯著的缺陷,即假設中,每個單詞的含義均由單一向量指代,因此單詞的含義也是單一的。而文字測試傾向于使用多義詞增加問題的難度。
王華正等人通過查找單詞在語料庫中的常見搭配解決了這一問題。接下來他們運用運算法則觀察這些單詞的分布。最后通過詞典查出單詞的不同含義,并將這些不同含義與不同分布的同一單詞對應聯系起來。
小編推薦閱讀