愛(ài)華網(wǎng)信息抽取（Information Extraction: IE）是把文本里包含的信息進(jìn)行結(jié)構(gòu)化處理，變成表格一樣的組織形式。輸入信息抽取系統(tǒng)的是原始文本，輸出的是固定格式的信息點(diǎn)。信息點(diǎn)從各種各樣的文檔中被抽取出來(lái)，然后以統(tǒng)一的形式集成在一起。這就是信息抽取的主要任務(wù)。
信息提取_信息抽取 -簡(jiǎn)介
信息以統(tǒng)一的形式集成在一起的好處是方便檢查和比較。例如比較不同的招聘和商品信息。還有一個(gè)好處是能對(duì)數(shù)據(jù)作自動(dòng)化處理。例如用數(shù)據(jù)挖掘方法發(fā)現(xiàn)和解釋數(shù)據(jù)模型。信息抽取技術(shù)并不試圖全面理解整篇文檔，只是對(duì)文檔中包含相關(guān)信息的部分進(jìn)行分析。至于哪些信息是相關(guān)的，那將由系統(tǒng)設(shè)計(jì)時(shí)定下的領(lǐng)域范圍而定。
信息抽取信息抽取屬于網(wǎng)絡(luò)內(nèi)容挖掘(Webcontentmining)研究的一部分，主要包括結(jié)構(gòu)化數(shù)據(jù)抽取(StructuredDataExtraction)、信息集成(Informationintegreation)和觀點(diǎn)挖掘(Opinionmining)等。大多數(shù)文獻(xiàn)中提到的網(wǎng)絡(luò)信息抽取往往專指結(jié)構(gòu)化數(shù)據(jù)抽取。
信息提取_信息抽取 -技術(shù)
信息抽取技術(shù)對(duì)于從大量的文檔中抽取需要的特定事實(shí)來(lái)說(shuō)是非常有用的。互聯(lián)網(wǎng)上就存在著這么一個(gè)文檔庫(kù)。在網(wǎng)上，同一主題的信息通常分散存放在不同網(wǎng)站上，表現(xiàn)的形式也各不相同。若能將這些信息收集在一起，用結(jié)構(gòu)化形式儲(chǔ)存，那將是有益的。由于網(wǎng)上的信息載體主要是文本，所以，信息抽取技術(shù)對(duì)于那些把因特網(wǎng)當(dāng)成是知識(shí)來(lái)源的人來(lái)說(shuō)是至關(guān)重要的。信息抽取系統(tǒng)可以看作是把信息從不同文檔中轉(zhuǎn)換成數(shù)據(jù)庫(kù)記錄的系統(tǒng)。因此，成功的信息抽取系統(tǒng)將把互聯(lián)網(wǎng)變成巨大的數(shù)據(jù)庫(kù)！結(jié)構(gòu)化數(shù)據(jù)抽取(StructuredDataExtraction)的目標(biāo)是從Web頁(yè)面中抽取結(jié)構(gòu)化數(shù)據(jù)。這些結(jié)構(gòu)化數(shù)據(jù)往往存儲(chǔ)在后臺(tái)數(shù)據(jù)庫(kù)中，由網(wǎng)頁(yè)按一定格式承載著展示給用戶。例如論壇列表頁(yè)面、Blog頁(yè)面、搜索引擎結(jié)果頁(yè)面等。
信息集成(Informationintegration)是針對(duì)結(jié)構(gòu)化數(shù)據(jù)而言的。其目標(biāo)是將從不同網(wǎng)站中抽取出的數(shù)據(jù)統(tǒng)一化后集成入庫(kù)。其關(guān)鍵問(wèn)題是如何從不同網(wǎng)站的數(shù)據(jù)表中識(shí)別出意義相同的數(shù)據(jù)并統(tǒng)一存儲(chǔ)。
觀點(diǎn)挖掘(Opinionmining)是針對(duì)網(wǎng)頁(yè)中的純文本而言的。其目標(biāo)是從網(wǎng)頁(yè)中抽取出帶有主觀傾向的信息。
信息提取_信息抽取 -工具
傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)抽取是針對(duì)抽取對(duì)象手工編寫(xiě)一段專門的抽取程序，這個(gè)程序稱為包裝器(wrapper)。近年來(lái)，越來(lái)越多的網(wǎng)絡(luò)數(shù)據(jù)抽取工具被開(kāi)發(fā)出來(lái)，替代了傳統(tǒng)的手工編寫(xiě)包裝器的方法。目前的網(wǎng)絡(luò)數(shù)據(jù)抽取工具可分為以下幾大類(實(shí)際上，一個(gè)工具可能會(huì)歸屬于其中若干類)：開(kāi)發(fā)包裝器的專用語(yǔ)言(LanguagesforWrapperDevelopment)：用戶可用這些專用語(yǔ)言方便地編寫(xiě)包裝器。例如Minerva，TSIMMIS，Web-OQL，florid，Jedi等。
工具1
以HTML為中間件的工具(HTML-awareTools)：這些工具在抽取時(shí)主要依賴HTML文檔的內(nèi)在結(jié)構(gòu)特征。在抽取過(guò)程之前，這些工具先把文檔轉(zhuǎn)換成標(biāo)簽樹(shù)；再根據(jù)標(biāo)簽樹(shù)自動(dòng)或半自動(dòng)地抽取數(shù)據(jù)。代表工具有Knowlesys，MDR。
基于NLP(Naturallanguageprocessing)的工具(NLP-basedTools)：這些工具通常利用filtering、part-of-speechtagging、lexicalsemantictagging等NLP技術(shù)建立短語(yǔ)和句子元素之間的關(guān)系，推導(dǎo)出抽取規(guī)則。這些工具比較適合于抽取那些包含符合文法的頁(yè)面。代表工具有RAPIER，SRV，whisk。
包裝器的歸納工具(WrapperInductionTools)：包裝器的歸納工具從一組訓(xùn)練樣例中歸納出基于分隔符的抽取規(guī)則。這些工具和基于NLP的工具之間最大的差別在于：這些工具不依賴于語(yǔ)言約束，而是依賴于數(shù)據(jù)的格式化特征。這個(gè)特點(diǎn)決定了這些工具比基于NLP的工具更適合于抽取HTML文檔。代表工具有：WIEN，SoftMealy，STALKER。
工具2
基于模型的工具(Modeling-basedTools)：這些工具讓用戶通過(guò)圖形界面，建立文檔中其感興趣的對(duì)象的結(jié)構(gòu)模型，“教”工具學(xué)會(huì)如何識(shí)別文檔中的對(duì)象，從而抽取出對(duì)象。代表工具有：NoDoSE，DEByE。
基于本體的工具(Ontology-basedTools)：這些工具首先需要專家參與，人工建立某領(lǐng)域的知識(shí)庫(kù)，然后工具基于知識(shí)庫(kù)去做抽取操作。如果知識(shí)庫(kù)具有足夠的表達(dá)能力，那么抽取操作可以做到完全自動(dòng)。而且由這些工具生成的包裝器具有比較好的靈活性和適應(yīng)性。代表工具有：BYU，X-tract。
信息提取_信息抽取 -流程
其具體步驟如下（以最通用的‘Knowlesys采集’步驟為例）
流程第一步，確立采集目標(biāo)，即由用戶選擇目標(biāo)網(wǎng)站。
第二步：提取特征信息，即根據(jù)目標(biāo)網(wǎng)站的網(wǎng)頁(yè)格式，提取出采集目標(biāo)數(shù)據(jù)的通性。
第三步：網(wǎng)絡(luò)信息獲取，即利用工具自動(dòng)的把頁(yè)面數(shù)據(jù)把存到數(shù)據(jù)庫(kù)。
信息提取_信息抽取 -挑戰(zhàn)
信息抽取技術(shù)是近十年來(lái)發(fā)展起來(lái)的新領(lǐng)域，遇到許多新的挑戰(zhàn)。 信息抽取原來(lái)的目標(biāo)是從自然語(yǔ)言文檔中找到特定的信息，是自然語(yǔ)言處理領(lǐng)域特別有用的一個(gè)子領(lǐng)域。所開(kāi)發(fā)的信息抽取系統(tǒng)既能處理含有表格信息的結(jié)構(gòu)化文本，又能處理自由式文本（如新聞報(bào)道）。IE系統(tǒng)中的關(guān)鍵組成部分是一系列的抽取規(guī)則或模式，其作用是確定需要抽取的信息。網(wǎng)上文本信息的大量增加導(dǎo)致這方面的研究得到高度重視。信息提取_信息抽取 -IR和IE的區(qū)別
IR的目的是根用戶的查詢請(qǐng)求從文檔庫(kù)中找出相關(guān)的文檔。用戶必須從找到的文檔中翻閱自己所要的信息。、就其目的而言，IR和IE的不同可表達(dá)如下：IR從文檔庫(kù)中檢索相關(guān)的文檔，而IE是從文檔中取出相關(guān)信息點(diǎn)。這兩種技術(shù)因此是互補(bǔ)的。若結(jié)合起來(lái)可以為文本處理提供強(qiáng)大的工具。
IR和IE不單在目的上不同，而且使用的技術(shù)路線也不同。部分原因是因?yàn)槠淠康牟町悾硗膺€因?yàn)樗鼈兊陌l(fā)展歷史不同。多數(shù)IE的研究是從以規(guī)則為基礎(chǔ)的計(jì)算語(yǔ)言學(xué)和自然語(yǔ)言處理技術(shù)發(fā)源的。而IR則更多地受到信息理論、概率理論和統(tǒng)計(jì)學(xué)的影響。
信息提取_信息抽取 -IE的歷史
自動(dòng)信息檢索已是一個(gè)成熟的學(xué)科，其歷史與文檔數(shù)據(jù)庫(kù)的歷史一樣長(zhǎng)。但自動(dòng)信息抽取技術(shù)則是近十年來(lái)發(fā)展起來(lái)的。有兩個(gè)因素對(duì)其發(fā)展有重要的影響：一是在線和離線文本數(shù)量的幾何級(jí)增加，另一是“消息理解研討會(huì)”（MUC）近十幾年來(lái)對(duì)該領(lǐng)域的關(guān)注和推動(dòng)。 IE的前身是文本理解。人工智能研究者一直致力于建造能把握整篇文檔的精確內(nèi)容的系統(tǒng)。這些系統(tǒng)通常只在很窄的知識(shí)領(lǐng)域范圍內(nèi)運(yùn)行良好，向其他新領(lǐng)域移植的性能卻很差。
八十年代以來(lái)，美國(guó)政府一直支持MUC對(duì)信息抽取技術(shù)進(jìn)行評(píng)測(cè)。各屆MUC吸引了許多來(lái)自不同學(xué)術(shù)機(jī)構(gòu)和業(yè)界實(shí)驗(yàn)室的研究者參加信息抽取系統(tǒng)競(jìng)賽。每個(gè)參加單位根據(jù)預(yù)定的知識(shí)領(lǐng)域，開(kāi)發(fā)一個(gè)信息抽取系統(tǒng)，然后用該系統(tǒng)處理相同的文檔庫(kù)。最后用一個(gè)官方的評(píng)分系統(tǒng)對(duì)結(jié)果進(jìn)行打分。
研討會(huì)的目的是探求IE系統(tǒng)的量化評(píng)價(jià)體系。在此之前，評(píng)價(jià)這些系統(tǒng)的方法沒(méi)有章法可循，測(cè)試也通常在訓(xùn)練集上進(jìn)行。MUC首次進(jìn)行了大規(guī)模的自然語(yǔ)言處理系統(tǒng)的評(píng)測(cè)。如何評(píng)價(jià)信息抽取系統(tǒng)由此變成重要的問(wèn)題，評(píng)分標(biāo)準(zhǔn)也隨之制定出來(lái)。各屆研討會(huì)的測(cè)試主題各式各樣，包括拉丁美洲恐怖主義活動(dòng)、合資企業(yè)、微電子技術(shù)和公司管理層的人事更迭。
過(guò)去五、六年，IE研究成果豐碩。英語(yǔ)和日語(yǔ)姓名識(shí)別的成功率達(dá)到了人類專家的水平。通過(guò) MUC用現(xiàn)有的技術(shù)水平，我們已有能力建造全自動(dòng)的 IE系統(tǒng)。在有些任務(wù)方面的性能達(dá)到人類專家的水平[53]。不過(guò)自1993年以來(lái)，每屆最高組別的有些任務(wù)，其成績(jī)一直沒(méi)有提高（但要記住MUC的任務(wù)一屆比一屆復(fù)雜）。一個(gè)顯著的進(jìn)步是，越來(lái)越多的機(jī)構(gòu)可以完成最高組別的任務(wù)。這要?dú)w公于技術(shù)的普及和整合。目前，建造能達(dá)到如此高水平的系統(tǒng)需要大量的時(shí)間和專業(yè)人員。另外，目前大部分的研究都是圍繞書(shū)面文本，而且只有英語(yǔ)和其他幾種主要的語(yǔ)言。
愛(ài)華網(wǎng)本文地址 » http://www.klfzs.com/a/8103370103/75547.html
