世界上的大部分知識(shí)都是以文本形式存儲(chǔ)的，因此，理解和利用文本知識(shí)是一項(xiàng)關(guān)鍵挑戰(zhàn)。在COMP90042中，學(xué)生將學(xué)習(xí)以自然語(yǔ)言理解和語(yǔ)言生成的形式處理文本的計(jì)算方法。這門課程主要使用的編程語(yǔ)言是 Python。如果有不了解的內(nèi)容可以進(jìn)行專業(yè)的留學(xué)生編程課程輔導(dǎo)!

一、什么是自然語(yǔ)言處理?

自然語(yǔ)言處理(NLP)是計(jì)算機(jī)科學(xué)的一個(gè)分支，更具體地說(shuō)，是人工智能(AI)的一個(gè)分支。

NLP 將計(jì)算語(yǔ)言學(xué)--基于規(guī)則的人類語(yǔ)言建模--與統(tǒng)計(jì)、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型相結(jié)合。這些技術(shù)結(jié)合在一起，使計(jì)算機(jī)能夠處理文本或語(yǔ)音數(shù)據(jù)形式的人類語(yǔ)言，并 "理解 "其全部含義，包括說(shuō)話者或作者的意圖和情感。

NLP 可驅(qū)動(dòng)計(jì)算機(jī)程序?qū)⑽谋緩囊环N語(yǔ)言翻譯成另一種語(yǔ)言，響應(yīng)口語(yǔ)命令，并快速(甚至實(shí)時(shí))總結(jié)大量文本。您很有可能已經(jīng)通過(guò)語(yǔ)音GPS系統(tǒng)、數(shù)字助理、語(yǔ)音轉(zhuǎn)文字聽(tīng)寫(xiě)軟件、客戶服務(wù)聊天機(jī)器人和其他消費(fèi)便利工具等形式與NLP進(jìn)行過(guò)互動(dòng)。但是，NLP 在企業(yè)解決方案中也發(fā)揮著越來(lái)越重要的作用，這些解決方案有助于簡(jiǎn)化業(yè)務(wù)運(yùn)營(yíng)、提高員工生產(chǎn)力和簡(jiǎn)化關(guān)鍵任務(wù)業(yè)務(wù)流程。

二、NLP tasks

人類語(yǔ)言充滿了歧義，這使得編寫(xiě)能夠準(zhǔn)確判斷文本或語(yǔ)音數(shù)據(jù)意圖的軟件變得異常困難。同義詞、同音字、諷刺、成語(yǔ)、隱喻、語(yǔ)法和用法的例外、句子結(jié)構(gòu)的變化--這些只是人類語(yǔ)言中的一些不規(guī)則現(xiàn)象，人類需要花費(fèi)數(shù)年時(shí)間才能學(xué)會(huì)，但程序員必須教會(huì)自然語(yǔ)言驅(qū)動(dòng)的應(yīng)用程序從一開(kāi)始就準(zhǔn)確識(shí)別和理解這些不規(guī)則現(xiàn)象，這樣這些應(yīng)用程序才能發(fā)揮作用。

有幾項(xiàng) NLP 任務(wù)可以分解人類文本和語(yǔ)音數(shù)據(jù)，幫助計(jì)算機(jī)理解所攝取的內(nèi)容。其中一些任務(wù)包括以下內(nèi)容：

1.語(yǔ)音識(shí)別，也稱為語(yǔ)音到文本，是將語(yǔ)音數(shù)據(jù)可靠地轉(zhuǎn)換為文本數(shù)據(jù)的任務(wù)。任何遵循語(yǔ)音命令或回答口語(yǔ)問(wèn)題的應(yīng)用程序都需要進(jìn)行語(yǔ)音識(shí)別。使語(yǔ)音識(shí)別尤其具有挑戰(zhàn)性的是人們說(shuō)話的方式--語(yǔ)速快、吐字不清、重音和語(yǔ)調(diào)不一、口音各異，而且經(jīng)常使用錯(cuò)誤的語(yǔ)法。

2.語(yǔ)篇標(biāo)記，又稱語(yǔ)法標(biāo)記，是根據(jù)特定詞語(yǔ)或文本的使用和上下文確定其語(yǔ)篇的過(guò)程。在 "I can make a paper plane "中，語(yǔ)篇標(biāo)記將 "make "確定為動(dòng)詞，而在 "What make of car do you own "中，"make "確定為名詞。

3.詞義消歧是指通過(guò)語(yǔ)義分析來(lái)選擇具有多重含義的詞語(yǔ)的含義，從而確定在特定語(yǔ)境中最有意義的詞語(yǔ)。例如，詞義消歧有助于區(qū)分動(dòng)詞 "make "在 "make the grade"(達(dá)到)和 "make a bet"(下注)中的含義。

4.命名實(shí)體識(shí)別(或 NEM)可將單詞或短語(yǔ)識(shí)別為有用的實(shí)體。NEM 可將 "肯塔基州 "識(shí)別為一個(gè)地點(diǎn)，或?qū)?"弗雷德 "識(shí)別為一個(gè)人的名字。

5.共參照解析是一項(xiàng)識(shí)別兩個(gè)詞是否以及何時(shí)指代同一實(shí)體的任務(wù)。最常見(jiàn)的例子是確定某個(gè)代詞所指的人或物(例如，"她"="瑪麗")，但也可能涉及識(shí)別文本中的隱喻或成語(yǔ)(例如，"熊 "不是一種動(dòng)物，而是一個(gè)毛茸茸的大個(gè)子)。

6.情感分析試圖從文本中提取主觀品質(zhì)--態(tài)度、情感、諷刺、困惑、懷疑。

7.自然語(yǔ)言生成有時(shí)被描述為語(yǔ)音識(shí)別或語(yǔ)音到文本的反義詞;它是將結(jié)構(gòu)化信息轉(zhuǎn)化為人類語(yǔ)言的任務(wù)。

海馬課堂專業(yè)課程輔導(dǎo)，2100+嚴(yán)選碩博學(xué)霸師資，針對(duì)學(xué)生的薄弱科目和學(xué)校教學(xué)進(jìn)度，匹配背景相符的導(dǎo)師，根據(jù)學(xué)生情況進(jìn)行1V1專屬備課，上課時(shí)間靈活安排，中英雙語(yǔ)詳細(xì)講解課程中的考點(diǎn)、 難點(diǎn)問(wèn)題，并提供多方位的課后輔導(dǎo)，輔助學(xué)生掌握全部課程知識(shí)，補(bǔ)足短板。