Droidtown.co

在 LLM (大型語言模型) 橫空出世以後，許多人紛紛將文件向量化，做成 Vector Database 的模型，第三代的搜尋方法，可被當成 RAG 來輔助 LLM。效果只能說是見人見智。

而除了前述的三種演算法做的搜尋引擎都算是屬於「搜尋有哪些文件」之餘，我們再往前一步，做出了「搜尋有哪些句子可做為回答」的系統 -- 這就是今天的主角 CopyToaster 了。

CopyToaster 的演算核心，會取以下資訊做為計算一篇文件和使用者提問的 Query 是否有關的參考：

ngram 計算的是使用者自訂詞典和 hashtag 裡的字串

title 取文件的標題經斷詞後用於計算

person 取文件中有哪些人

location 取文件中提及哪些地點

law 取文件中提及的法律條目編號

verb2 取文件中所有的動詞

action 取使用者自訂詞中的動詞 (你都花時間編寫它了，當然它的權重要再更高一點囉！) coreVerb 再加上特定權重

entity 取文件中所有的名詞 (實體)

userDefined 取文件中使用者自訂詞彙的斷詞結果

tg 是 Transformational Grammar 的縮寫。在計算前會先將使用者的 Query 和文件的 POS 結構進行比對。

tgR 是 Transformational Grammar Rotation 的縮寫。在計算前會先將使用者的 Query 和文件的 POS 轉為 WH-word 以後，再進行比對。

這麼多的計算項目，最大的特點就是 tg 和 tgr 這兩項是別的搜尋演算法中沒有的。我們可以用一個實驗來說明：

在以下的實驗中，我們刻意準備了三則新聞片段，各自都只有一個句子做為文件內容。此外，三篇文件的標題是一樣的、hashtag 也是一樣的。簡言之，只有文件內容會決定搜尋的結果。

將三篇文件上傳，並完成部署後，我們搜尋：

[誰最近收了很多連署書]

這個 Query 中含有一個 WH-word：誰。因此在 tgR 的計算中，會讓 CopyToaster 去尋找「人名 + verb + Entity」這樣的樣態分佈。如果那個 verb 剛好是「收了」而且 Entity 又剛好是「連署書」的話，則在 verb2 和 entity 這一樣會再得到額外的計分。如此一來，因為三份文件中，有一份的內文提到：

「民進黨桃園市議員黃瓊慧收了1萬1000份連署書」

這樣的樣態剛好就是「人名 + 收了 + Entity」，同時在「樣態、verb、entity」上面都獲得計分。因此就成為「最可能含有 Query 相關資訊的文件」而做為回傳結果了。

除了「誰」以外，像是「什麼時候」這種 WH-word 也有一樣的效果。此外，由於我們在計算樣態以前，會將詞彙序順重新依邏輯語意的計算順序重新排列，因此即便是 Query 和文件內文的詞彙順序不同，也不會有太大的影響。例如：

在這個例子裡，Query 的順序是：

[朱立倫主席叫大家什麼時候集合？]

「人 + verb + 什麼時候」和「人 + 什麼時候 + verb」 而內文的文字裡，順序是：

「國民黨主席朱立倫今天號召黨公職及群眾晚上在北檢外集結」

順序是「人 + 時間 + verb」但 CopyToaster 一樣能找到，這三篇文本中，最能回答 Query 的就是第二篇。

任何科學領域的研究，第一個要回答的問題永遠是「你的最小單位是什麼？」只要最小單位搞錯，那麼這個研究的結果大概也是…不太科學的 (客氣地說)。就像電影《鍋蓋頭 Jarhead》裡的教官在射擊訓練場特別指出的「報距離的時候，選擇適當的最小單位！不要用你的屌當計算單位，因為它太小了！」

因此，當早期的 embedding 一路選擇「詞 (word)」、「字符 (character)」直到比字符更小的「token (符元)」這樣愈來愈小的方向時，我們從「詞 (word)」就開始延伸到形式語意學的計算符號上面。

同樣地，我們用「約翰在波士頓租了一間房子」為例，以「詞」做為 embedding 的最小單位，就會將以下的內容做為訓練材料，一共有 6 個元素：["約翰", "在", "波士頓", "租了", "一間", "房子"]

而如果是以「字符」為 embedding 的最小單位，原本的「約翰在波士頓租了一間房子」，就會變成這樣的訓練內容，一共有 12 個元素：["約", "翰", "在", "波", "士", "頓", "租", "了", "一", "間", "房", "子"]

而如果是以 token 做為 embedding 的最小單位，一個中文字符大概會是三個 token，整個句子就會變成像以下的 36 個元素：["\xe7", "\xb4", "\x84", "\xe7", "\xbf", "\xb0", "\xe5", "\x9c", "\xa8", "\xe6", "\xb3", "\xa2", "\xe5", "\xa3", "\xab", "\xe9", "\xa0", "\x93", "\xe7", "\xa7", "\x9f", "\xe4", "\xba", "\x86", "\xe4", "\xb8", "\x80", "\xe9", "\x96", "\x93", "\xe6", "\x88", "\xbf", "\xe5", "\xad", "\x90"]

但我們使用邏輯表達式，例如：

FUNC_在(LOC_波士頓, ASP_了(VERB_租(PSN_約翰, CLA_一間(ENTY_房子))))

整個句子將會變成以下的模樣進行 embedding 的訓練：["FUNC_在", "(", "LOC_波士頓", "ASP_了", "(", "VERB_租", "(", "PSN_約翰", "CLA_一間", "(", "ENTY_房子", ")", ")", ")", ")"]

共有 15 個元素。這是我們在計算向量時，第一個和主流「字符/詞彙/token/byte」做為嵌入基本單位的最大不同之處。

有趣的是，我們利用形式語意表示式，可以得到最大的好處就是「主動語態和被動語態將有一樣的語意表示式」。

也就是說，「有一間在波士頓的房子被約翰租了」這個句子的語意表示式和「約翰在波士頓租了一間房子」是完全一致的。

以這些元素來計算詞向量還不夠，因為詞向量對語言結構不敏感，頂多只能呈現「這個句子在高維空間中大概分佈在哪裡」的特徵。因此我們要再加上能對語言結構敏感，並在計算過程中保持序列結構的 pairwise alignment 將每個句子彼此之間的相似程度計算。

大概會像這樣子：

[註] 涉及機密處的參數予以遮蓋，請見諒。 [註] 不同詞性的加權，可加在 alignments 這一行之後處理。 [註] 不同層次的 negation_function 的處理，也可以在這一區塊處理。

這麼一來，這兩個只差了「房子」和「屋子」一個詞的句子，相似度可以計算出為 92%。對齊的過程視覺化後如下所示：

最小單位是形式語意學提供的，而對齊的算法是 naive pairwise algorithm (常用於基因比對)。該演算法的物理意義在於「找出兩個 DNA 序列」中相同排列的段落。

若兩個物種的 DNA 序列「相同的段落愈多，且兩兩相同段落之間的位移愈少」，則這兩個物種在分子生物的層面上愈相近。

綜合地說，在 NLP/AI 的技術發展史裡，早期使用「字符」，中期使用「詞彙」，前者會遇到「雜訊過多 (多一個「的」，少一個「啊」，都會被演算法視為是不同的句子)，後者則會遇到「主動句 (我看到他匯錢) vs. 被動句 (他匯錢被我看到)」明明意義一樣，但卻被演算法視為不同句子的問題。近期使用 token/byte 的 LLM 則會遇上無法呈現語言中的邏輯因果關係的問題。

而我們可以利用語言學，先把所有的句子都先收斂成「語意表示式」，藉由：

FUNC_在(LOC_波士頓, ASP_了(VERB_租(PSN_約翰, CLA_一間(ENTY_房子))))

進階單位：語意與 vector

形式語言學裡，研究語意的領域叫做「形式語意學 (Formal Semantics)」或是「邏輯語意學」。一個知識領域一 定要經過「除魅」與「形式化」的個步驟，才真正進入科學的領域。

「除魅」字面意思是「去魔法」，意味著科學方法的出現與開明理性的運用，使世界變得透明、不再有神秘可言。而「形式化」則指的是利用某些數學的方法證明推論的正確性或非正確性。

因此，在語言學裡，雖然有些事情仍是「未知 (unknown)」，但在語言學這個現代基礎學科裡，也是沒有魔法 (magic) 的。

一個最簡單的例子是：

John rented a house in Boston.

它的句法結構可以呈現為[註1]：

我們就能發現，這句話的語意就是兩件事：

John rent a house. (John 租了一間房子)

This renting-event happened in Boston. (John 租房子這件事是發生在 Boston)

以函式的方式呈現，就可以寫成：

內層的 FUNC_rent() 表示的是「租屋」這個函式，而這個函式表達的語意是：

被「租」的是 "a house"

而發起「租用」這個動作的是 "John"

外層的 FUNC_in() 表示的是「在…(某處)」的函式，這個函式表達的語意是

這起「房屋租用」事件是發生「在」Boston 這個城市裡。

語言學處理 semantics (語意) 時，和詞向量的 vector semantics (向量語意) 最大的不同是「語言學處理的是函式」，而函式本來就可被電腦計算。從「函式」到「語意」之間是一比一的等價關係，函式就是語意，語意就是函式。

那麼「語意的函式」又是什麼意思呢？首先，在卓騰語言科技，我們把 semantics 定義成兩種情況：

makes sense: 一段聽得懂，而且也能確定是不是真的語句，表示為 1/1 OR 0/1。我們可以簡單記為 {1, 0}/1

not makes sense: 無意義，聽不懂的語句，表示為 1/0 OR 0/0。我們可以簡單記為 {1, 0}/0

當下面這句可理解的句子被看懂的時候：

John rented a house in Boston.

我們究竟知道了什麼呢？我們知道了以下這些事情：

也就是說，語意的計算與事實的核對，具有這樣的語意關係：

相對地，當我們遇到一個讓人聽不懂的句子，像是：

a rent Boston in John house.

的時候，那麼就是前述的語意關係裡的分母是 0。這麼一來，不論是否真的能在宇宙裡找到 b, j, h，找到的話是 1，找不到的話是 0，但只要分母是 0 ，這個句子的意義就無法被理解。

這麼一來，我們就能明確地定義出什麼叫做「可被理解 (makes sense，分母為 1)」和「不可被理解 (not making sense，分母為 0)」，以及什麼是「事實 (分子為 1)」什麼是「假 (分子為 0)」

相較之下，詞向量的語意和前述的定義無關。它的初衷是因為「字符無法被電腦計算，所以想個辦法把字符變成一組浮點數 (小數)，因為小數可以被電腦計算」。從「詞彙」到「向量」是透過「資料分佈」來做轉換的。而這個轉換不是一比一的等價關係。

一個詞彙會被轉換成什麼樣的向量值，完全是看資料怎麼分佈！

且向量化計算是在「無法處理字符」的前提下，做了一個「假設」。

假設：兩個不一樣的 token X, Y，如果它們的前後 token 的集合「夠相似」的話，那麼 X 和 Y 有相似的語意。

這麼一來，其實我們無法排除「全世界有養企鵝的動物園裡都會出現『token X: 企鵝』和『token Y：餵食工作用的金屬桶』這兩個 token 的週邊環境很相似的可能。」

因此我們會得出「企鵝和金屬桶有某種語意上的相似性」這樣的錯誤結論。

要排除這樣的錯誤結論，只好用更多更多更多更多的資料，讓 token X: 企鵝的週邊充滿了各種其它的東西，好讓 X 和這些『其它東西』的距離相比於 token Y: 金屬桶更近，因此來推出 (腦補出)：『所以企鵝和金屬桶沒那麼相似！』的結論。

這樣做有兩個主要的問題：

1. 最原始的那個 [上下文相似的 X, Y 必然語意也相似] 的假設是沒什麼道理的！

2. 同一個算法既可以得出「企鵝和金屬桶很像」(在資料少時) 和「企鵝和金屬桶不像」(在資料夠多時) 這兩個完全相反的結果。而我們無法預先知道「什麼時候資料才夠多」。更無法排除「當 X, Y 之間的資料夠多的時候，會不會影響 X, K, W, J... 之間的距離(相似度) ？」

因此透過詞向量來計算語意，將會遇上它無法分辨什麼是「可被理解」和「不可被理解」，從以下兩個例子中的 ChatGPT 對話記錄，就能觀察到這點：

ChatGPT 處理「可被理解」的指示詞 (prompts) 時，回覆了正常漢堡的製作流程：

[Link]

ChatGPT 處理「不可被理解」的指示詞 (prompts) 時，也回覆了正常漢堡的製作流程：

[Link]

這表示，它其實無法像人類一樣知道「語言的語意是否 makes sense」。

換言之，和人類理解語意的 {1, 0}/1 和 {1, 0}/0 相比，詞向量的語意呈現的是 {1, 0}/{1, 0}。它的分母無法被確定是 0 或是 1，也就是說，利用詞向量做出來的模型並不是真的有辦法計算語意。

更多的例子可以從以下的對比中看出來：

ChatGPT 處理「可被理解」的指示詞 (prompts) 時，回覆了以下的結果：

[Link]

ChatGPT 處理「不可被理解」的指示詞 (prompts) 時，回覆了以下的結果：

[Link]

我們可以先忽略它的算式和答案是否正確。那是屬於前述式子裡的分子的「是否能從宇宙中找到符合條件的成員」的事實查核問題。

關於「語意」，我們的重點是放在前述式子裡的分母「能否被正確地覺察語言是可被理解地 makes sense 或不可被理解地 not makes sense」。

很明顯地，任何一個心智正常的中文母語人士都能立刻感覺到，這兩個數學應用問題中的第一個，是可以被理解的，故可以被計算，因此分母為 1，屬於前述的「第一種情況」；而第二個數學應用問題是不可被理解的，故無法被計算，因此分母為 0，屬於前述的「第二種情況」。

但 ChatGPT 顯然無法分辨「什麼是可被計算的，什麼是不可被計算的」，也就是說它分不清楚「什麼是可被理解地 makes sense，而什麼是不可被理解地 not makes sense」。

因此，在 AI 時代裡，語言學的「語意計算」可以更好地和生成式大型語言模型做搭配，將「無法被理解」的語句加以標出、排除或是拒絕處理，以便讓本質為接龍模型的 LLM 可以產出品質更好的結果。 而我們從語言學的角度出發，可以這麼做，是因為我們知道語言具有內部結構 (如系列文一所述)，而且這個結構可以被描述為一個可被計算與繼承的程式函式。 在本文中，我們進一步延續這個概念，將結構內的每個詞彙，依其在句法結點上的位置，直接轉寫為一組函數關係。並據以解釋「什麼是具有 comprehensibility (可被理解性)」的句子，說明「makes sense vs. not makes sense」的差異。也說明在一個 makes sense 的語意前提下，什麼是「真實」什麼是「虛假」的計算。 在下一篇系列文中，我們將進一步展示，利用這樣的語意計算能力，我們可以做哪些應用。

[註 1] John rented a house in Boston. 這個句子有兩種可能的意思。 a. John 做租房子這個動作的時候，人在 Boston，但房子不一定在 Boston. b. John 租了一個在 Boston 的房子，但他做這個動作的時候不一定在 Boston. 本文的說明採用 a 做為說明之用。如果改採 b 的話，其函式關係如下：

但既然我已說明了相較於計算機語言學，形式語言學並不傳統，接著，我就借用 "Linguistics for the Age of AI" (連結) 這本書的書名，做為本篇的題目，說明一下我們用「形式語言學」怎麼在現代做 AI/NLP[註3] 吧。

除非額外說明，否則以下「語言學」的指稱對象都是「形式語言學」。

基本單位：詞彙 vs. token

在語言學裡，掌管語意計算的最小單位是「構詞 (morphology)」；但在 AI 的眼裡，它無法理解什麼是「詞彙」。AI 的領域裡，模型計算的最小單位是一個 token。

token 不一定是「字」，甚至不一定是一個「詞」。Token 可以是任何電腦可以儲存解析的單位。比如說一個中文字，在 Python2 裡就是以三個 bytes 來儲存。

但從語言學的角度，一個「構詞的單位」是可以和整個句子的語意有所關係的。例如「打破」的「破」表示「這個動作最後造成的結果狀態」。而呈現一個句子意義的方式，是透過其句法結構逐層計算而來。

而且在這個架構下，我用紅色字體標出的每個 XP (TP, ASP, VP, DP, NP…) 都可被視為是某一種程式裡的函式 (Function，請特別注意這個字！)，只需要給予它需要的論元 (arguments) 就行了。一段用以表示概念的 psudo-code 可以是像這樣：

由於這個語言的 VP 是 head-initial (中心語在前) 的，所以當 VP 繼承 XP (class VP(XP) 這行) 的時候，不需要另做調整。而這個語言的 NP 是 head-final (中心語在後) 的，所以當 NP 繼承 XP (class NP(XP) 這行) 的時候，需要在 __init__() 裡設定它不是 HeadFirst 的參數[註4]。

於是，我們就能完全基於形式語言學的句法規則，來撰寫程式該怎麼處理句子。取出句子裡在句法樹上的每個元素，然後就能轉為形式語意 (Formal Semantics) 的 labmbda abstraction 的邏輯式，再進行語意計算了。

這時，下一個合理的問題就會浮現：正如大型語言模型都有「訓練」和「推論」兩個階段。上面的 psudo-code 既然類比的是「推論」的使用階段，那麼一開始究竟是怎麼得到 inputSTR 裡的這些標記結果的呢？

這又要回到「傳統 NLP」(這裡真的可以用『傳統』一詞) 處理高頻詞的想法和形式語言學的差異了。

傳統 NLP 是從訊號處理的角度出發的。因此很在意熵值的變化。他們覺得「只要某個東西的出現次數太多了，它就應該像背景雜訊一樣，數量多，而且變化多端。只要把它們濾掉，排除，剩下的就是我們要的訊號了。」

但從語言學的來看：「這個元素一直出現，必然有什麼特殊的原因！」

以下我們可以從某個詞彙出現次數繪製的長條圖裡，看出這兩種不同對待語言的態度：

ref. https://slackersite.wordpress.com/2015/08/28/zipf-it-word-frequency-and-line-drawing/

這張圖呈現的是某語料經統計後的結果，出現次數最多的詞彙往左排，次多的排第二，第三多的排第三，依序往右排。所以這張圖表裡呈現的就是「本語料中，"the" 出現的次數最多，"of" 出現的次數次之，"and" 第三…依序呈現」這種分佈被稱為齊夫分佈 (Zipf's distribution) 或是也有人稱語言中詞頻的分佈會遵守齊夫律 (Zipf's law)。

如果你是受傳統 NLP 出身的訓練，那麼你下一步會處理它的方式就是所謂的「去除停用詞 (stop word removal)」

ref. https://www.ngcm.soton.ac.uk/2021/07/07/natural-language-processing-in-python/

也就是把出現次數最多的那幾個詞，當做是「高頻詞」，然後把它當成是「就像出現次數又多，種類又變化多端的雜訊」一樣去除。然後只取後面的 "interesting word" 來當做實義詞 (content word) 使用。

但語言學並不是從這個角度理解這個現象！

語言學從「人類幼兒如何從極少的資料裡，就能掌握自己身處的母語環境中，究竟要把 HeadFirstBOOL 設為 True 還是 False」這個角度出發。從這個角度來思考，我們馬上就能注意到「這麼多高頻詞，怎麼剛好都是 Function word 呢？」

因為 Function word 可以快速地幫助人類幼童決定他正在「習得 (acquire)」的這個語言，要怎麼設定參數，以便快速地用最少的能量 (他每次的能量補給只有幾 c.c. 的母乳，而不像大型語言模型一樣有三個州的電網系統可以提供能源)，在最少的例子裡聽出來「什麼東西一直反覆出現，那就先把它當做是句法樹上那些紅色的節點。優先釐清它的參數設定 HeadFirst (中心語在前) 還是 HeadFinal (中心語在後)」。

就依這樣的步驟，我們實際觀察一次這個比較少台灣人熟悉的語言：

如果把它依前例畫成每個詞出現的次數的話，就會發現第一多出現的字就是 "di"！讀者應該可以想像，人類幼兒聽到很多次的 "di" 以後，接著會發現它是前面的東西變化比較少，還是後面的東西變化比較少。如果是前面的東西變化比較少，那就表示它和前面那個東西的關係比較緊密，所以它是 "HeadFirst=False" 的參數設定；相反地，如果它後面的東西比較不會變化，那麼它就是和後面的東西關係比較緊密，這麼一來它就是 "HeadFirst=True" 的參數設定。

除了這個 HeadFirst 的參數設定以外，我們還會注意到「所有能扮演 Function 的元素，都是有限的數量」。比如說英文介系詞就少少的那幾個，中文的更少 (e.g., 在、於、之、的…等)。換言之，人類幼童根本不需要有那麼多的訓練語料，他只需要掌握住「那些常常出現的高頻詞，各自是屬於要往前併成一個 XP 的類型，還是往後併成一個 XP 的類型」就可以了。

於是「那隻貓打破了這個花瓶」，就可以很快地被以下的步驟逐層解析並加上標記：(我用 -> 和 <- 來表示它是往哪個方向併成一個 XP 結構，並用 [ ] 標出已經併起來的單位)

那(->) 隻貓打破了這(->) 個花瓶

[那隻] 貓 打破(<-) 了(<-) [這個] 花瓶

[那隻](->) 貓 [[打破]了] [這個](->) 花瓶

再加上我們知道具有 Syntax Function 的功能詞只有那幾類。就能標上：

[DetP[Det 那隻] [N貓]] [VP[V打破]了] [DetP[Det 這個]花瓶]

走到步驟 5 的時候，一個可以被 Formal Semantics 的 Lambda Abstraction 接手進行語意計算的句法樹標記就做好了。這 5 步，就相當是對應現在大型語言模型的「訓練」階段。只是我們用語言學的方法是用演算法來做，而不是用資料模型來逼近。

簡言之，我們不需要大量語料，不需要像 1950年代的 Pre-Chomsky 的『真．傳統語言學家』去編寫每個詞彙的文法，列舉每個例子，就能模仿人類幼童學會語言的句法結構和參數知識的方式，用語言學來做 NLP 了。

我們的 Articut 就是這麼做的。在中文上做了一次，在英文上做了一次，還正在排灣語上再做一次。我們一次又一次地做，就是為了證明「這種方法是可行的，而且即便是語言類型學上非常不一樣的語言，形式語言學的方法，在 AI 時代裡也是可行的，而且我們還非常省能源，又不需要大量語料呢！」

而且，由於我們的演算法是貼著 X-bar 做的，所以我們的各種應用也等於是提供了形式語言學家 (或是生成語言學家) 一個「可以透過資訊工具大量測試和觀察語言現象」甚至「將理論實作成應用」的研究平台了。

===

註 1

形式語言學的英文是 Formal Linguistics. 其中的「形式」一詞，指的是指使用定理或公式解，來說明並建構知識的邏輯系統。這種研究方法又被稱為 Formalism，中文被譯平「形式主義」。

但大概是近 30 年來的兩岸開放交流，台灣吸收了許多中國詞彙和語意的解釋。而中國使用「形式主義」這四個字的時候，更像是官僚主義的那種只看事物的現象而不分析其本質的思想方法和工作作風。

於是乎…莫名奇妙地開始有些剛接觸語言學的學生就帶著「中國風味的形式主義」來理解 Formalism 的 Formal Linguistics 的中文譯名「形式主義語言學」了。

不過還好，Formal Linguistics 裡研究句法的分支，通常又被稱為 Generative Syntax，而中文常被譯做「生成語法/生成句法」。這個字眼就持續維持中性，直到 2022 年底的大型語言模型，又把這個字拿去放在「生成式 AI」的 Generative AI 裡。

於是乎，又有許多「先看到生成式 AI，才看到生成式語法」的人，以為『你們這些語言學家就是在蹭 AI 的熱度哦！』

註 2

簡單的年表如下：

1956年 達特矛斯會議：第一次冒出 "Artificial Intelligence (AI)" 這個字眼，當時的語言學是傳統的 Rule-based 語言學。

1950年代，意識到 Rule-based 語言學無效，因為規則寫不完，因此開始了 Computational Linguistics (計算機語言學) 和 Corpus Linguistics (語料庫語言學) 的發展。前者企圖用某種知識圖譜、人為標記做出統計機率模型，後者企圖採集『具代表性』的語料，以避免資料量太大的時候，描述規則會寫不完的問題。兩者都是為了「解決 Rule-based 的不佳」而開始的領域。

1957 年 Chomsky 出版他的第一本關於語言的專書，他是在荷蘭出版的，因此對美國的影響並不那麼立即或明顯。

1965 年 Chomsky 出版他的第二本關於語言學理論的專書，這本是在 MIT 出版社出版的。

因此…誰更「傳統」？這個問題的答案，似乎不言而喻。

註 3

較明確的說法應該就是 NLP 而非 AI。但在 LLM 出現以後，大家似乎漸漸把 "AI" 一詞能指涉的範圍變得更廣了，只要是能通電的，都能冠上 "AI"。因此，為了讓文字閱讀時遇到陌生詞彙的費力感降低，本文裡的 AI 其實就只專指 "NLP (自然語言處理)" 的相關技術與應用。

註 4

psudo-code 的意思是「它並不是被期待成可被直接執行的程式碼，而是用以表達概念或是演算法核心的偽碼」。甚至連這段程式碼裡的 regex 都不該使用才對，而「這裡的 NP 還需要做一些調整，才能正確地使用」我知道，但這就是用以表達概念的 psudo-code 而已，它本來就不是要被執行的，而是被用來理解的概念的。

快速回顧

由於中文組成新詞彙的方法，往往是由許多已知的字符來拼接，導致許多中文母語者也養成了「有邊讀邊」的錯誤習慣。

因此需要先點明一個重點：本文將說明的是「理論語言學的應用 (Applications of theoretical linguistics」，而不是「應用語言學 (Applied Linguistics)」。

我們在本系列文的第一篇中提過，現代語言學利用邏輯代數系統，來表示和計算語言中的意義，稱為語意 (semantics)。

前例：

LEARN(語言學, 他)w(剛開始)

而在本系列文的第二篇裡提到，現代語言學不再像其它繼承傳統語言學的子領域，只看表面線性的詞彙順序，而是將結構視為語言的第一特徵，稱之為句法 (syntax)

前例：

Mary and John smile.

[主詞] + smile

[Snt[[Subj.[N...]] V]]

主要議題

現在的問題，就是如何把句法 (syntax) 和語意 (semantics) 湊在一起進行操作來計算一個句子是否：

a. 具有合乎句法的結構 b. 具有可被理解的意義

如果一個句子違反了前述的 a，那麼這個句子將變得無法被理解。例如：

100面寫幫封一我歉信道遲試到

這是一個特別設計過的字串，無法被合理地重新排序成為一個合乎句法結構的中文句子。因此對任何中文母語者而言，這個句子是沒有意義的，因為它無法被理解[註1]。

但如果一個句子符合了前述的 a ，但卻違反了 b，那麼這個句子將會冒出一股「詩意 (poeteic expression)」。例如：

透明的綠色憤怒地安眠著

這個句子完全符合中文的句法結構，但它的語意很奇怪。既然是透明的，怎麼又會有顏色？既然是安眠著，又怎麼會流露出憤怒情緒？

這股令人「企圖重新詮釋其意義」的空間，可能就是文學美感的源頭。

暫且先放下文學與詩的討論，讓我們繼續回到「完全符合 a 和 b 的一般語言使用」的場景。

常見誤解與迷思

系列文之二裡曾經提過現代語言學是依句法運作。而對語言學有一點理解的人，可能會聯想到像以下這種 Phrase Structure Rule (詞組規則, PS Rule) 的句法：

S → NP VP NP → Det Adj N VP → V NP VP → V VP → V PP PP → P NP

S: sentence; 句子

Adj: adjective; 形容詞

N: noun 名詞 (例如「蝴蝶」)

NP: noun phrase; 名詞組 (比名詞更大一點的東西，但還是一個名詞。例如「黃色的蝴蝶」)

Det: determiner; 冠詞

V: 動詞 (例如「出現」)

VP: verb phrase; 動詞組 (比動詞更大一點的東西，但還是一個動詞。例如「出現過」)

P: preposition; 介系詞 (例如「在」)

PP: prepositional phrase 介系詞組 (比介系詞再大一點，但還是一個介系詞的東西。例如「在台北」)

但這種做法在現代語言學裡已經不再使用了，只剩下來不及跟上理論研究的部份計算機語言學實驗室因為某些歷史因素，無法拋下過去而繼續用著。

現代語言學不再使用這些 PS Rule 的原因，是因為依前面的 PS Rule，我們可以發現有三個主要的問題：

NP 有三個下屬元素 (Det, Adj, 和 N)，但其它的只有兩個下屬元素。(而在 PS Rule 裡，NP 有時候也不只兩個下屬元素)

VP 有三種變化的可能。也就是說，至少有三種可能性可以構成 VP。

承上兩點，同一個詞組將有 N 種詞組句法樹 (i.e., VP 在上例中有三種句法樹)，而這 N 種詞組句法樹的結構，又無法跨語言使用。換句話說，每一個語言都得做一個充滿各種句法樹的模型。

這些問題將導致現代語言學的理論困在某一種語言上，而無法將讓全世界人類的語言都納入同一個框架下。但現代語言學的目標是要提出一個可以解釋全人類語言能力運作機制的理論。

因此，當舊的 PS Rule 無法跨語言時用時，現代語言學就在這個分歧點上採取了其它的方式重新提出新的理論。

但在這個分歧點上，史丹佛大學的 CoreNLP 就採用了自己的英文 Treebank (連結)，但只適用於英文；中研院的 CKIP 小組也有自己的 Treebank (連結) 但只適用於中文。

不管是哪一個 Treebank，都不是現代語言學在發現 PS Rules 無法跨語言使用之餘，還帶有前述問題的分歧點上採用的解決方案。

X-bar 理論

現代語言學推出了 X-bar 理論，並讓每一層分支只會有二元分支 (binary branching)。一個標準的 X-bar 結構長這樣…

這張二元結構樹中，XP 的 X 可為任何已知的詞性。亦即，它可以是 NP 的 N，用以表示這是一個名詞組，也可以是 VP 的 V，用以表示這是一個動詞組。

中間的 X-bar 這一層，則可容納任何沒改變 XP 中這個 "X" 性質的元素。比如說：

在這個 AdjP (形容詞組) 結構中，每一個「非常」都不會影響這個詞組的重心是「高大」的事實。此外，不論重覆幾個「非常」也不會讓 AdjP 的 Adj 變成別的詞性。

這個理論框架最大的好處是每個階層都只要決定「一個特徵」就可以了。

計算量將大幅縮減！

即「這個詞的位置應該位於左分支嗎？」如果這個特徵為「是」，那麼它就會出現在左分支的節點 (例如「高大」「非常」和 "Specifier")。而當我們決定了「形容詞 Adj 要位於左分支」的時候，它的 Complement 就無需再次做特徵計算，它一定是在另一個分支節點上 (也就是右分支)。[註二]

如此一來，我們也不需要一個 treebank 或是模型來學習「每一個詞彙」是「是不是屬於左分支」，只要針對每一種語言的各個詞類做好設定即可。

例如：

中文的形容詞位於左分支：高大的球員 (「高大」是形容詞，位於左分支)

法文的形容詞位於右分支：moulin rouge (法文「紅磨坊」。其中 moulin 是「磨坊」而 rouge 是「紅」)

將前述的句法和語意的計算方式結合起來，會像這個樣子：

也就是，左半圖的句法結構，可以被化為右半圖計算語意的論元結構。看到這裡，可能有人想發問「咦？為什麼不是二元樹呢？」，這是因為語意學研究的進展和句法學研究的進展並不是同步的。這棵樹的擷圖是從 2005 年的論文(連結) 裡抓的。2010 年以後，完整的句法樹，我留在 [註三] 處。

熟悉諸如 Haskell 或是 Prolog 這些 Functional Programming (FP) Languages 或是習於採用 FP 來撰寫程式的軟體工程師，應該已經注意到，語言學裡做語意計算的方法，和 FP 非常相似。用巢層包裏每一階，而每一階裡也做出對應的計算。

理論的發展走到這裡，我們已經知道：

全世界的人類語言的有通用的 X-bar 結構。

X-bar 在每個詞性的 XP 中的運作是遞迴並巢層堆疊的。

XP 中的 X 只有三十種左右。

X-bar Syntax 可以被轉為類似 FP 的函式來計算語意。

看來，實作語言科技的條件都完備了！

實作語言科技

投入實作前，別忘了理論語言學研究進展的幾個重點：

語意的計算是透過 Func(arg, arg, ...) 來計算的。

句法的結構模型只需要學習在某語言 K 中，每個詞性 P 的屬性是左分支或是右分支。

因此，我們 (卓騰語言科技) 可以利用前述理論來建構語言科技的應用。

首先，我們知道任何語言的詞性分類裡，一定有幾類是功能詞 (Function words)，另外幾類是內容詞 (Content words)。以中文為例，功能詞例如「很」「在」「的」…這些有限的詞彙。而內容詞則是數量無上限的名詞、動詞、形容詞…等等。

任何語言的功能詞都是有限，而且不太變化的。相較之下，名詞、形容詞…等等內容詞則會隨著時代一直推陳出新。

換言之，只要掌握了功能詞是否屬於「左分支」的特徵，就能知道和這個功能詞搭配的內容詞是在它的左邊，或是右邊。

接著，把這些功能詞列為 Func(arg, arg, ...) 中的 Func() 再把和這個功能詞搭配的詞彙，列為其中的 arg. 這麼一來，我們就能計算

很高大的球員 => 的(很(高大, i), 球員i) [註四]

綜合以上，我們只要做到以下的功能，就能用相較於 LLM 而言極少的資源，做出 NLU 的語言理解功能。

a. 將語言 K 中的功能詞列出來。如此一來，我們將可以區分 K 語言中的詞彙邊界。[註五] b. 將語言 K 中的功能詞的特徵是否為左分支設定好。如此一來，我們將可以轉譯 K 語言成為一組一組的 Func(arg, arg, …) 的結構。 c. 有了 a, b 兩個功能以後，我們便能更進一步自動位資料自動做出知識圖譜。

其中，b 是我們做 NLU (自然語言理解) 功能的方式。這麼一來，就能透過給予一個例子，讓電腦學習這個例子裡所有的 Func()，並讓每一個 arg 都是變數來建立模型。

當模型學會了 一個(很(Adj, i), Enty_i)，就能對應所有的「一個很 OO 的XX」的語意計算。而「一個」和「很」都屬於語言中較少變化，且總數有限的功能詞。因此我們便能利用和 LLM 相比，非常非常少的訓練資料產生 NLU 模型。

而 c. 的例子可以像是藉由給予語料，讓模型建立：

TIME(參加(奧林匹克, 張星賢), 1932)

這類事實資料做為知識圖譜。這麼一來就能讓這個知識圖譜配合 LLM 做為 RAG 的資料來避免 LLM 產生幻想內容。

小結語

本篇藉由快速回顧系列文的四個篇章，企圖在最短的時間內，讓讀者迷失在新、舊語言學思維典範和理論框架以前，接上最新的 LLM 的表現，進行反思。並且也帶出卓騰語言科技藉由現代語言學的理論，說明如何做到：

詞彙邊界標定以做為句法解析應用的基礎

語意計算以做為自然語言理解模型的基礎

自動產生的知識圖譜，具有可解釋性的 RAG 支援系統

等現代語言科技最需要的應用。

---

註一：

但相對地，大型語言模型卻能理解腦補，並產出一封信件。

如果LLM 和人類理解語言的機制是一樣的，那麼表示 LLM 能理解的東西，人都都能理解。

但這個字串只有 LLM 能解，人類卻不能解，可見 LLM 的理解方式和人類不同。

例如：連結

因此，我們可以假設，近年所有藉由 LLM 來模擬的各種人類理解能力的計算機語言學研究與實驗都失去了其對人類理解能力是如何運作在解釋上的基礎。

簡言之，基於 LLM 的計算機語言學的研究已和人類語言沒有關係了。

註二：

這就是中研院語言所所長林若望教授在「研之有物」的「世上不存在「最難」的語言？專訪語言學家林若望」一文中所提的『…語感關鍵：「中心語在前」vs.「中心語在後」…』這一段的意思。

註三：

完整的句法樹長這樣：

紅色的字標出的是原句裡 "John rented a room in Boston" 裡的動詞以後的部份。從這棵完整的句法樹裡還能看到，如果我們要把整個句子擴充成 "John rented a room that is in Boston" 能得到一樣的語意。因為在句法結構裡，"that" 和 "is" (及其相關的時間語意 <tense>) 都已經有節點可以計算了。

每一個 XP 都是一個 func(). 而能做為其 arguments (論元) 的詞性變化也是有限的 (大概都在二到三個變化之間)。在卓騰，我們就是利用這樣的特性把每個 XP 的函式寫出來 (大概有三十個)，然後就能計算句法結構並轉為語意了。

ref. http://people.umass.edu/moiry/syntax.pdf

https://www.antidote.info/en/blog/reports/o-syntax-tree

註四：

看到這裡，可能有人會想到這和傳統 NLP 的「語意三元組」很像。

但其實也是不一樣的東西。本系列文是跟著「杭士基」一書的章節做節錄與補充。所以沒有特別提到語意研究的進展軌跡。

早期語意研究的確是花了很多時間在做施事者 (主詞)、受事者 (受詞)、受害者 (受詞)、受益者 (受詞)…等等角色的標註，並被 NLP 研究拿來做為訓練模型的材料。

但正如這裡所列的「受詞」有三種可能的角色，在「她和有暴力傾向的男友分手了」裡的「她」究竟是施事者或是受害者，又或是受益者？常常會遇到訓練不足的早期語意學碩博士標註者不一致的標記。所以隨著語言學進入現代語言學的演進後，可計算更精準細膩的語意學也開始走向利用邏輯式來求解語意的操作了。

註五：

第四章：語言學理論的目標

杭士基堅稱，任何被記錄下來的話語，具有代表性的語料 (corpus) 裡，有絕大多數的語句是「新」的語句，因為這些語句只會出現一次而且是僅有的一次。無論我們把母語人士所說的話錄得多長，情形還是一樣。

和許多從語料庫起家的 NLP (自然語言處理，Natural Language Processing) 方案和語料庫語言學 (Corpus Linguistics) 的方法最大的不同，就是語言學理論追求要能解釋「只出現一次」的那些句子，為什麼能被聽得懂？

這個目標，細思極恐！

如果人類有辦法第一次聽到某一個句子，就聽得懂那是什麼意思。那就表示人類的語言能力 (competence) 是有能力不靠大量的刺激來掌握語意 (semantics) 的。

這個結論，在某個層面上將嚴重地挑戰目前的 LLM AI 以及所有基於詞頻、大數據才能做出好像懂語意的表現 (performance) 的 NLP 方案。

我在這裡說「某個層面」，特別指的就是「宣稱人類的心智也是透過大量的刺激才能如此運作語言系統」這個層面。而這麼一來，就讓基於語言學理論的 NLP 方案，和基於資料的 NLP 方案，在基礎上產生了差異。

基於語言學理論的 NLP 方案，將要做到「從只出現一次的正確句子表現 (performance) 裡，就能得到這個句子的語意 (semantics)」這表示人類的心智運作機制裡，必然存在著一個可以接收這個句子，將之化為可以處理的元素的內在能力 (competence)。

用個類比來說明，就像人類飲食偏好固然會讓我們選擇「常常吃的食物」，也許是個人飲食偏好、文化習慣或是資源限制…等等原因造成我們的飲食有這樣的偏好表現 (performance)。但這並不表示人類的消化系統只能處理「常常吃的食物」。只要是符合我們消化系統的處理能力 (competence) 的食物，就算一輩子只吃這一次，我們的消化系統都是可以加以處理成更小的分子，然後吸收利用的。

這本來就是有機生物的運作機制。

搞懂了這裡出現這麼多次的 "performance (表現)" 和 "competence (能力)" 的對比說明，就更能理解下一段講的：

杭士基在《句法結構》中曾區別語法所衍生的語句「語言」 (the language) 和一般情況母語人士所說的話「語料」的不同。這也是他後期著述裡區分「知能」(competence) 和「表現」 (performance) 的觀念。

在這樣的基礎上，我們就更能理解理論語言學的研究目標是「人類處理語言的能力」，而非「人類的語言表現」。前者是在你心智底層的 competence，後者是表層的 performance。

而現代智人做為一個生物學裡單一物種，我們人類必然擁有一樣的生物特性和大腦運作機制。這才是 Chomsky 所說的 "Universal Grammar" 的意思。但許多人只看到 "Grammar" 這個字，就以為 Chomsky 在尋找一種像我們中學時的英文課程裡學的那種「第三人稱單數，動詞加 -s」或「Be-動詞後的動詞要加 -ing」的文法操作。因而只能在這種「不同語言有不同的表層呈現 (performance)」的層次提出紮稻草人式的反對意見。

一言以蔽之，語言學理論研究的是人類的語言系統運作時共通的底層邏輯。

正因為有了這樣的底層邏輯，我們才能說明為什麼下面這個句子，你第一次聽到就知道它的意思：

掌管辦公室咖啡的神騎著獅子拉的雪橇在雲霧間奔跑

你不需要知道究竟是不是有一個神負責掌管咖啡、不需要知道獅子能不能拉雪橇、甚至不需要知道雪橇為什麼能在雲霧間奔跑，你都能理解這個句子企圖表達的意思。

同樣地，也是因為有了這樣的底層邏輯，即便我們把下面這個句子重覆 10 萬遍，你還是無法理解它的意思：

椅我天把卡條一坐看子毛幻

這表示，人類的語言能力 (competence) 和刺激的次數無關。企圖單憑詞頻或是字符之間共現的次數來取得這個句子傳達的語意 (semantics) ，甚至來達到語意的理解 NLU (Natural Language Understanding) 與詮釋，是一條行不通的路。

頂多，我們可以使用現有資料訓練出來的模型來「組合可能性高的字串」，做為自然語言生成模型 (NLG, Natural Language Generation)。但這已經超出語言學做為一門「理論科學」的研究目標了。

簡言之，語言學的研究就像所有理論科學的研究一樣，的確你可以拿它的研究成果來做為「技術發展」的基礎，但這並不表示這個學科是以發展技術做為目標的。以發展技術為目標的，有時甚至可以追求大力出奇蹟，不顧及科學基礎的，是所謂的「工程學科」，而非「科學理論」了。

第三章：布倫菲爾德學派

「傳統語言學」和「現代語言學」對何為「科學」的看法有所不同，但「科學」本身是一個明確定義的詞彙 (維基的定義為「科學強調預測結果的具體性、可證偽性，這有別於空泛的哲學。科學並不等同於尋求絕對無誤的真理，而是在現有基礎上，摸索式地不斷接近真理。」)。在這樣的背景下，我們有必要看看究竟傳統語言學所依據的「布倫菲爾德學派」是怎麼看待科學和自己這個學派之間的關係：

布倫菲爾德認為，「科學」意味需小心翼翼剔除所有無法直接或無法實際測量的材料，他這個說法和心理學行為論創始者 -- 華特森 (J. B. Watson) 的看法不謀而合。華特森和他的追隨者都認為…從一個阿米巴 (an amoeba) 到人類的行為 -- 都應該從生物對環境的刺激 (stimuli) 的反應 (response) 來解釋和描述…

布氏的這個看法，直接將傳統語言學和科學二字劃清了界線。

首先，科學並不意味著只能研究「可直接觀察/可實際測量」的對象。包括數學、人工智慧、系統論…等研究領域在內的理論科學 (Theoretical Science, 又稱形式科學 Formal Science)，就往往存在著研究對象無法直接觀察或直接測量的對象或概念 (e.g., 無限大，逼近)。

此外，就算是通常可被觀察的自然科學，也有許多「不能被直接觀察到，只能透過歸納和演繹推論」的部份。例如黑洞的位置，是透過黑洞的重力對其週遭的影響，間接推測黑洞的存在。

因此，只從可見的「刺激 => 反應」之間的關係來限制何為「科學」，實為大大地壓低了語言資訊維度的一大謬誤。但這種「刺激 => 反應」的行為主義論調，卻是一個輕鬆易懂的概念。

這就像巴伏洛夫 (Ivan Petrovich Pavlov) 的實驗裡，我們看到「食物 -> 鈴聲 -> 狗流口水」，因此在狗對「鈴聲」的刺激也產生流口水的反應時，我們得出「狗學會了鈴聲代表食物的意義」的結論。

而事實上，這個廣為流傳的實驗非常難以復現 (replicate)，甚至有專門的論文討論過這個難以復現的問題。

這表示，坊間流傳甚廣的「刺激 => 反射」的行為科學心智運作模式，是一個過度簡化且不可靠的推論。

關於「基於行為主義的傳統語言學」在 1970 年代被 Chomsky 連發論文著述，以實際人類幼童的語言習得過程中的表現加以挑戰、否決的歷史，我在這裡暫且先壓下不表。

我更想提出的是，雖然專業的心理學領域裡已經知道了「刺激 => 反應」不是可靠的心智運作模式。但是這個簡單易懂的理論，卻繼續在計算機語言學和自 2012 年起，大數據 (BigData) 以來，乃至機器學習/深度學習和大型語言模型 (LLM, Large Language Models) 的風潮中，一再地被奉為圭臬。

甚至，還有些計算機語言學的專家和 AI 專家主張，這種根據「刺激 => 反應」設計出的「大量刺激 => 各式各樣的反應」大型語言模型就是人類心智運作的模樣。

拜託…它連狗的心智都不是 (LeCun 也這麼說)，總不好大家一邊下載 LLaMa 模型，微調得好開心，然後又同時說 LeCun 說的話不算話吧？

布倫菲爾德編寫其劃時代的著作《語言》一書時，顯然是以行為科學的理論做為語言述的架構。

對行為主義的信仰是永遠不會消失的，就像到了西元 2024 年，世界上仍然有相信地球是平的地平說學會。也因為這個「簡單易懂」的想法外溢得到處都是，因此我們才會看到以這個想法最極致的應用來說明人類心智運作的謬論 -- 大型語言模型就是人類心智運作的樣子。詞向量就是人類理解語意的方法！

但對於語意 (semantics)，布倫菲爾德學派又是怎麼說的呢？

布倫菲爾德認為，對意義的分析將是「語言研究裡的弱點」…布倫菲爾德之所以會有如此悲觀的看法，實因他深信，只有在字所指的物、狀態、過程等先得到完整的「科學」描述，字的意義才能得到明確的定義。對少部份的字 (如植物、動物和各類自然物質的名稱)，我們可以藉相關的科學 (如生物、動物和化學等) 的術語相當確切的定義，但是對絕大多數的字 (如布倫菲爾德所舉出的諸如「愛」「恨」等抽象字彙) 情況卻不同。

布氏語言學派不僅完全忽略掉意義的研究，還常常認為字義的研究根本不屬於所謂的語言學的範籌。

因為布氏學派立基於「只能講可以直接觀察」的東西，因此對於難以直接觀察的語意，他們就直接忽略，當做不存在，把這個問題丟出 (傳統)語言學的研究範籌，眼不見心不煩地處理掉了。

那麼，相較於布氏學派對「語意」的看法，其它的幾個角度，又是怎麼看待這個問題的呢？

功能語法學派 (Functionalism)

對承續了傳統語言學「道統」的計算機語言學、語料庫語言學以及功能語法學派 (Functionalism，或稱認知語法，認知功能學派) 而言，它們避開「無法直接觀察」的問題是改以語用 (pragmatics) 和溝通目的 (communicational purpose) 做為脫身之計。

雖然一開始的功能語法學派是從布拉格學派衍生出來的，但近四十年的功能語法學派的研究主題是立基於「反對 Chomsky」而誕生。本文裡使用「功能語法學派 (Functional Grammar/Syntax)」時，採用較為廣義的定義：既然你反對 Chomsky 的形式語法，那麼所有「語法研究領域裡，所有在方法論(methodology) 上不是形式語法」的，都視為廣義的功能語法學派 ([按] 這樣開地圖炮，完全是一種學術自殺的行為。)

也正因為其「反對」的基礎，每個功能語法學派的學者之間，似乎並未形成一個一致的理論或是研究方法。有人特別研究「常用語式的搭配」，例如「喝掉，吃掉」的 V-掉 中，「掉」的語研究，可採用假設人類有一個原型認知的範籌，而「掉」的意義是落下，後來經過隱喻轉化為「消失」。

但這樣的研究方法，難以套用到英文的 "drink up, eat up" 的 "up"。除非我們要再假設「英文母語人士的原型認知範籌裡，"up (上)" 和『落下』的意思都經隱喻轉化為消失」…([按] Well...I am really speechless about this.)

這樣的問題推展到最後，往往只能得到「因為講英文的人聽多了 V-up 來表示消失的用法。因此英語母語人士就把 -up 和消失的語意連結起來了。而以中文為母語的人則是聽多了 V-掉 的用法來表示消失的語意，所以中文母語人士就把 -掉 和消失的語意連結起來了。」

如果我們再繼續探問下去「那麼…聽到多少，才叫聽多了呢？」又會讓功能語法學家開始引入某個語料庫的資料，並且計算其頻率以提出「有數字，就能做為科學證據」的論點，做為其「Chomsky 是錯的。語言的意義只在溝通時才會產生」的佐證。

但不論是哪一種功能語法學派的方法 (因為缺乏一致的理論框架，所以這裡有「多種」方法)，仍然無法回答以下問題：

如果沒有 Chomsky 的話，這個功能語法學派的立基點會是什麼？

如果語料庫的取樣和真實語言使用的比例不同時，基於該語料庫的研究是否具有參考意義？(e.g., 絕大多數人的日常生活裡，並不會使用 PTT 台大批踢踢實業坊 BBS 站台內的說話方式來溝通，如此一來，這麼多以 PTT 語料做為研究材料的功能語法學派研究得到的結論，是否可信？)

為什麼針對 A 語言做的研究看法，往往在 B 語言中得到相反的現象，甚至在 A 語言內就能看到相反現象，此時缺乏一致的理論框架的問題，要怎麼解決？

大型語言模型 (LLM, Large Language Models)

另一方面，大型語言模型，則立基於「模型的表現很像人，所以我們就能假設它的運作和人一樣」的想法，做了一系列的測試與研究，佐證「大型語言模型是聽得懂人話裡的意義 (meanings)，懂語意 (semantics) 的」。例如，在這篇文章裡，就以「我們給定 X, Y, Z 幾個字，讓 LLM 接下一個字，假設為 W。如果 "XYZW" 這個字串並未出現在任何 LLM 的訓練資料裡，這表示這個模型懂 XYZ 的意義，並且可以產生一個 XYZW 的新句子做為回應！」這樣的實驗來說明 LLM 懂語言。

問題是，LLM 本質上是一個接龍模型，而能夠接出一個順暢的句子，和它理解句子的語意之間，仍是有著「表現 (performance)」和「能力 (competence)」之間的差別。

比如說，如果我在家鄉是一個非常有經驗的天氣觀察者，我可以輕易地從昨天下午到傍晚之間的天色以及雲層變化，預測今天會不會下雨。假設地點是 X，下午到傍晚是 Y，雲層變化是 Z，而今天會不會下雨是 W 的話。我的預測就像是生成了一個 XYZW 的連續天氣狀態。當有人問我「你為什麼知道會下雨？」的時候，我可以回答他說「因為我昨天看到XYZ，所以預測今天會W！」

但這並不表示我真的具備了對於大氣中水分子的活動、溫濕度之間的互動關係、風向或季節的相關知識的理解。這些才是我們所謂的「知道為什麼會下雨」。

同理，LLM 頂多只是看得夠多了，所以它知道 XYZ 後面可以接 W。即便他沒看過 XYZW，但相較於其它的 XYZK, XYZQ, XYZP...等等的字串結果，這已經是可能性最高的組合了。

它輸出 XYZW，並不是因為理解了 XYZ 的意義和 XYZW 的運作原理。就像我說「今天會下雨」，也不是因為我理解為什麼天色是這樣的變化或是雲層是如此地分佈。我可以預測！正如 LLM 可以接龍，但這都和「理解」無關。

生成語言學 (Generative Linguistics)

最後是 Chomsky 的現代語言學，如同前兩篇系列文中的說明，其屬於一種理論科學，因而如前篇系列文裡說明的一樣，它並不像文法研究，反而更像數學一樣，是帶著利用 Formalized Symbol System (形式化的符號系統) 的各種函式來進行研究的科學，被喜歡以「主義與學派」分類的人歸類在 "Formalism" 裡。

壞也就壞在這個 "Formalism"。

Formalism 一詞的中譯為「形式主義」，但「形式主義」一詞，在中國的語境裡已經特定指稱「流於外在的形式，而失去實質內涵的行禮如儀式的社交舉動或只是過個流程，沒有實際意義的官僚行為」，再加上近三十年來海峽兩岸的交流，讓「形式主義」一詞蒙上了不必要的負面解讀。

而原本這裡採用 "formalize" 指的把語言的元素進行正規化處理，予以嚴格的操作型定義。如此一來，透過數學與邏輯方法來計算語言的句法和語意，才不會流於字面感受的美學討論，而能成為像科學一樣可以被計算的對象。因此，稱之為 Formal Linguistics (形式語言學) 或 Formalism (形式主義)。

其次，現代語言學在其人才的養成訓練裡，並沒有像數學系或是物理系一樣導入了資訊技術來幫助運算與發想。我個人的猜想，這也許是因為許多現代語言學家有意無意間，企圖和讓自己和「計算機語言學」的傳統語言學家有所區隔而為之。

但造成的結果就是…明明是研究方法論最容易和資訊科技結合的理論語言學，反而在理論大致完備，可以開始討論應用面的問題時，發現沒有幾個人知道怎麼操作電腦來呈現理論語言學的研究成果，甚至放大其研究結果的影響力。

Coda

以上的描述，立基於本公司 13 年來雇用過、合作過受過各個不同學派訓練出來的語言學專家 (碩、博都有) 以及我本人在台灣兩所頂大求學期間所接觸資訊相關科系的學生、以及業界的 NLP 工程師及 AI 專家的經驗。

在這個因為少子化而讓大學系所開始減班縮編甚至系所中止招生的時代，「語言學」這個學科不該再是「訓練與生產另一個語言學教授」的學術訓練場，而應該是能誠實面對自己究竟是在傳授「紮實的現代語言學知識 + 補上過去缺乏的資訊技術」，以訓練可以在社會上貢獻所長的人才，亦或只是頂著「語言學」的招牌，實際上只是在提供資訊操作補習教育的終南捷徑。

從一個企業主的視角來看，我實實在在地講「紮實的現代語言學知識 + 資訊技術」正是產業需要的人才。不只是我缺這樣的人才，我的客戶缺這樣的人才，甚至我的競爭對手都缺這樣的人才。

第二章：現代語言學

傳統文法學家大致說來是鍾情於標準的文學語言 (literatury language)。他們常輕視口語和寫作裡比較非正式或通俗的用語，甚至常指摘通俗用語的不當。

但從語言學的角度來看，只要「有人自然地，不需特別訓練就能說的內容，同樣地也有人自然地，不需特別訓練就能聽懂的內容」，那就是語言的合理用法。

和目前主要從文字學習的 LLM/AI 不同的是，語言學的研究並不受限於文字。因為文字只是「語言的一種記錄方式」，語言也可以被錄音、錄影或是現場的戲劇表演來重現記錄甚至轉譯記錄成為另一種語言或是表現方式。

暫且將這些表現與記錄都放一邊，現代語言學研究的重點是和前一篇系列文的「多個句子有一樣的語意」的目標是一致的。也就是這些表現方式是否有一個可以操作的系統在其後，讓我們可以把 A 語言的表現/記錄方式轉譯為 B 語言的表現/記錄方式。

既然要轉譯，那麼就像我們要把用 Java 程式語言撰寫的程式，重新用 Python 程式語言重寫一次。首要任務，就是「依據 Java 程式語言的句法 (syntax) 來讀懂這支程式想要做什麼 (semantics)」。然後再依據 Python 的句法 (syntax) 來呈現同一個功能 (semantics)。

在前一節中，我們已經簡短地討論過 semantics 的部份。在這裡，我們更能看到，除了 semantics 以外，現代語言學的另一個研究重點就是它的「句法 (syntax)」。

正如書中所提的…

現代語言學的主要目標之一即是建立一套較傳統理論更為週延的語法理論，這套理論必須很適切地描述出人類所有的語言。

再次以程式語言做為類比：也就是說我們企圖找到「設計任何一程式語言時，必要的功能是什麼」(例如：每個程式語言都需要迴圈；每個程式語言都需要條件式…等等)

"syntax" 一字的意思就是「把東西拼在一起」。這麼一來，我們要在語言中建構的東西，就是「把東西 (詞彙) 拼在一起時的規則」是什麼。有了這些規則，我們就更能知道是「什麼和什麼拼在一起」。

以 "John smiles." 這個句子為例。任何懂英文的人，都能基於英文文法 (grammar) 知道 "smile" 加了一個 "-s" 的尾綴，是因為它和 "John" 拼在一起。

但如果我們把這個條件「當 smile 接在 John 後面的時候，smile 要加上 -s 的尾綴」當做文法的話，我們將會無法解釋那為什麼以下的 smile 是不加 -s 的。

"Mary and John smile."

因為我們的確讓 "smile" 接在 "John" 的後面了！為什麼這時候 smile 又不加 -s 了呢？這時候，我們有兩條路可以選。

一是現代語言學採取的「每個句子都有其內部結構，詞彙元素之間是以結構節點做為其互動的介面」。這麼一來，我們就能說明，其實 "John smiles." 和 "Mary and John smile." 有一樣的結構。都是

[主詞] + smile

的結構。接下來，只要看 [主詞] 裡面是單數或是複數的語意，就能決定 smile 會不會有 -s 了。

也就是說，兩個句子的結構其實都是：

[主詞 [John]] + V

[主詞 [Mary and John]] + V

至此，我們可以進一步把這個結構記做：

[Snt[[Subj.[N...]] V]]

用最前面的 Snt 來表示只要有了後面兩個元素，它就能形成一個 Sentence。然後，只要 len([N...]) > 1, 那麼 V 就會要加上 -S. (注意，我在這裡用大寫的 S，表示它是 -s, -es, -ies... 等複數詞綴的集合)

而這個標記方式，顯示出語言的結構是投射在二維空間，同時需要考慮「前後」與「上下」關係，而非一維空間的只考慮「前後」而已。

另一條路，則是延續前面的「smile 之前 是 John ，那麼 smile 要加 -s」的思路，再額外加一條「smile 之前 是 John ，那麼 smile 要加 -s若 John 之前有個 and，且 and 之前還有 Mary，則 smile 的 -s 取消」。

如此這般，便從原本的一條規則，隨著線性的前後考量，變成了兩條規則。從現在的眼光看來，這種方法實在是很傻。

但 1950 年以及之前的傳統語言學家的確是這麼做的，而同一時代的 Chomsky 的理論仍在發展中，還不到「完備得可以應用」的時候。以致於 1950年代開始，參與 AI (人工智慧) 研究的語言學家，其思維模式都更接近傳統語言學，而非現代語言學。而在當時也的確使得 AI 專家們得出「語言學沒有用」的結論。要注意的是，這句話裡面的「語言學」指的是傳統語言學。畢竟那時候的理論語言學還在建構中呢。

因此，即便是名稱看起來非常先進的「計算機語言學」(Wiki 頁面中提到亦是從 1950 年代開始)，也是傳統語言學的思路下的產物。使得即便是 NLP 領域裡常見的 NLTK 仍然是這種「一維空間，前後關係下的規則」的產物。

以下用 NLTK 來取得 "was" 這個 "過去式 Be-動詞" 的詞幹 (stem)，就會發現它的思路就是「在一維的前後空間裡，去除最後一個 -s，就能得到詞幹」的做法。所以它最後得出 "was" 的詞幹是 "wa"…

另一個有趣的事情是，雖然 AI 科學家們早就得出「(傳統) 語言學沒有用」的結論，但諸如 ChatGPT 和 Bard …等大型語言模型 (LLM) 所立基的 Transofrmer 仍然是採用了「利用大量資料，擬合在一維空間裡前後字符 (character) 彼此關係」的思路。只是每個一維空間都被獨立儲存起來，讓它有了超級多的維度。

最後，在 LLM 出現以後，許多「計算機語言學」的實驗室也紛紛放棄自己原本的 (傳統)語言學研究方法 (畢竟說穿了…除了標記和統計以外，本來也沒什麼獨到的方法)，全部改用 ChatGPT…等 LLM 做為研究的基底，甚至直接宣稱這就是人類語言/語意的模樣了。

這些方法都忽略了一個很基本的事實：「語言的本質就不是線性的！」

在錯誤的維度空間裡，企圖尋找正確的答案，就像在全世界的動物園裡，企圖尋找企鵝。你會在某些動物園裡找到企鵝，但也會有一些動物園裡沒有企鵝。固然，你可以說「這次的尋找，還是有點用的。我們現在知道用什麼方法問動物園，可以最快得到他們有沒有企鵝的答案」。

第二章：現代語言學

什麼是現代語言學呢？它和傳統語言學有什麼不一樣？

對本書部份的讀者 -- 或許是大多數的讀者 -- 而言，語言學算是一門嶄新的學問。 … 語言學常被定義為是語言的科學。「科學」一詞在這裡相當重要。

每次提到「語言學」的時候，除了被大多數沒有接觸過語言學的人誤為是「學習某種語言」之外，還有一部份人會把「語言學」當成是學習語言文法的某種學科。

「大概就像國中時的英文文法課吧！」人們會說。

不，像文法課的那種東西比較像是傳統語言學。

現代語言學之所以能被視為是「科學」，除了其研究方法以外，在近年的「句法-語意」介面研究裡，更讓語言的「意義 (meaning)」成為一個可以像數學一樣被計算的對象。

「可以像數學一樣被計算」有多重要呢？其重要性來自於對於「意義」一詞，在現代語言學之前，100 個人對一句話可以用100 種不同的方式來解釋。即便這 100 種不同的方式是同義的，我們仍然無法說明為什麼這 100 種不同的方式的意義是一樣的。

換言之，利用語言來描述語言，將使我們落入套套邏輯 (tautology) 的局面。例如，若我們解釋「他剛開始學習語言學」的意義，就是「他是語言學的初學者」。且我們在解釋「他是語言學的初學者」的意義時，也用了「他剛開始學習語言學」的話，這兩個解釋本身並無法帶領我們進任何更深層的討論。

現代語言學的做法，則是利用一套邏輯代數系統，將「他剛開始學習語言學」轉化為一套邏輯表示式。有點像…

1. LEARN(語言學, 他)w(剛開始)

如此一來，當我們把「他是語言學的初學者」套入前述邏輯式裡，也能得到一致的解答時。

2. IS(LEARN(語言學, -學者i), 他i)w(初-)

我們就能得到「這兩句話有一樣的意義」的結論。

[註] 2 裡面的 IS() 可以把 [他] 代入 [-學者] 中，而得到「他 LEARN 語言學」的語意 (semantics)；同時，w(剛開始) 取出的時間點也和 w(初-) 的詞彙語意一致。因此這兩個句子具有一樣的語意。

有了以上的背景，就能理解書中的下一段的…

Loki 的長處是演算法；GPT 的長處是資料模型，兩者剛好可以互補，就像下圖所示：

那…為什麼要這麼做呢？不是一切都用 prompt 施個咒語就好了嗎？

假設 GPT 可以使用 1 萬種 prompt 指令好了，問題是「任何一個產業都不會一下就用到 1 萬種」呀！那就只要先理解一下這個產業領域會怎麼使用這個模型，然後我們做個離線的縮限版。這樣就能給客戶在內部使用了。

後面要接 GPT-2/3/4 或是其它的模型，這都無所謂。總之 Loki 把問題的變化收斂了，所以後面的模型就不需要那麼大。

所謂「收斂」的意思是…

原本 GPT 會需要：

我買了一本書 他購買了三十盒口罩 我們一共買了6箱影印紙 …

很多很多的句子來建立模型。

但 Loki 會把這些句子收斂成「句型」，也就是這些都是

人 + 買了 + 量詞 + 物品

這樣的一個句型。所以 Loki 的 NLU 模型只需要「一個句型」，而不需要「很多很多句子」來建立模型。

那為什麼要收斂呢？因為收斂了，才能解決 ChatGPT 這類「生成模型」遇到的發散問題。

由於 GPT 是透過「前 N 個字符，預測下一個字符」，那麼頭尾的距離愈遠，就會愈發散。以致於最後就會前後文對不起來。

那麼 Loki 是怎麼和 GPT Hybrid 起來解決這個發散的問題呢？

我們需要一個 Loki NLU 模型負責處理邏輯，還要一個 Data 模型負責產生內容。

Loki NLU 是「自然語意理解」系統。我們用這個系統建的是「自然語意理解模型」。你可以想像成「訓練一個會懂你們公司內部行話的模型」。但是懂了行話，還是要知道怎麼回應 (action item)，這就要靠你們內部的資料模型了。以我們公司的一個「電商廣告文生成系統」為例，只要給這個系統「強壯男性黑瑪卡」這樣的產品名稱，它就會生成適合在電商廣告中出現的簡短描述文字，用於廣告的投放。

它運作的兩個步驟就是：

Loki NLU 模型搞懂「哦，原來 request 裡的『男性黑瑪卡』是一種保健補給品，給男性用的」這屬於「懂行話」的範圍。

GPT Data 模型就要取出「如果要推銷『男性、健康、保健、補給品』可以用哪些話來推銷？這屬於「Action item」的範圍。

有了 1 和 2 的 Hybrid，這個系統就能做到「先聽懂」再「採取領域內合理的措施」的效果。

目前大家使用 ChatGPT 的時候，都會產生許多幻想，但卻往往忽略了你身為人類，在操作時其實已經想好了要幹嘛，然後請 ChatGPT 產生出結果而已。

而 ChatGPT 好像什麼都能問，什麼都會答。但也正因為它什麼都能問，所以它會發散。也因為它的發散，所以容易產生錯誤。

換言之，要發揮資料模型的價值，你必需要有一個在應用上收斂它表現的方法。比如像這個應用，就是把它收斂在 "git" 的指令下：

所以這麼一來，就能提高 Data 模型在使用時的正確性。

否則，如果沒有把應用縮限在 "git" 的使用場景下的話，那麼前述所列的那個網站裡，給予 prompt 指令

列出所有碰過這個檔案的使用者

這句話也可能指的是找 file log 看看誰開啟過它；這句話也可能指的是找 file attribution 看看它的編輯紀錄…等等多種解讀方法。

但正因為這個作者把它收斂在「只和 git 指令有關」，所以才能「只輸出 git log …」的指令。

而我們會使用 Loki 做為收斂手段，是因為 Loki 就是一個「可以收斂任何主題」的 NLU 系統。藉由「把發散的東西收斂」來提高第二步驟的 Data 模型產出的結果的正確性。

利用字典法的話，字典的問題就是「由前往後」還是「由後往前」，再加上詞長短的優先順序。由前往後，當然是容易出現 [酒精 / 液] 這樣的結果。但這麼一來，前面也容易出現 *[三成 / 人情] 這個錯誤的結果。因為「人情」是收錄在字典裡的詞彙，且由左往右看，「人情」比「情人」先出現。

相對地，如果是由後往前的話，就的出現 *[酒 / 精液] 這樣的錯誤結果，雖然前面比較有機會出現 [情人節] 的正確結果。

再來，如果使用的是「統計機率式」或是「資料分佈模型」的原理的話，就看你的訓練資料裡，哪一種分佈更多了。如果是武漢肺炎肆虐的這幾年的報章新聞內容，那麼出現「酒精」或是「酒精液」的機會，一定是遠高於「精液」的。但如果你採用的訓練資料是有些「依法」必需要符合年齡限制才能自由閱覽的文本的話，那麼出現「精液」的次數，想必也是高於「酒精」的了。

講了這麼多，那麼語言學原理會怎麼做？

Articut 基於 X-bar 的結構，和其它方法不同的是， Articut 是從「最」這個功能詞 (function word) 字符開始推算。在 X-bar 框架下，詞彙必然是 XP 的某個中心語 (head)。因此，它的起點是 Function word，然後開始尋找中心語參數的可能分佈。

因為任何語言都一樣，在 X-bar 的框架下，Function words 提供一個句子的骨架。不過，因為這 句子裡的 Function word 太少 (只有一個「最」)，所以大概在句型結構這裡沒有跑出最佳解。此時，第二個子模組 (音韻結構) 會進來。中文有二字、三字、2+3 字、2+2+1 字…這樣的韻律結構傾向。對 Articut 而言，音韻結構是「最後手段」。

它只對同一語系有效果，有點像…一個只會說國語的人，聽人用方言讀詩時，雖然聽不懂是什麼詞彙，但大概也斷得出來詞彙邊界的意思。所以最後的綜合結果就是… 三/成人/情人節/最/想要/口罩/酒精/液 了。

而也正因為我們有個音韻結構的子模組，所以有人拿 Articut 報處理台閩語、客語…等等中文的方言時，也都能持續運作 (參考連結)。

講到這裡，可能因為大家對語言學的理論都不太熟。我再給個例子吧：

由於 Articut 是沒有內建字典的。因此在這個例子裡，Articut 從「會」這個字符開始下手，然後推估…如果這是一個「XX道」的名詞 (e.g., 像「弓道、空手道」)，和一個「XX學」的名詞 (e.g., 像「語言學」、「天文學」) 的話，那麼現成的 X-bar 的句法樹節點位置，將會高於只把它當成一個「 XX 會」(像「同盟會」、「獅子會」的組織名稱)。

原因是「名詞組 (Noun Phrase) 」的節點位置很低，但 Modal (情態動詞) 的節點位置比較接近完整的句法樹的頂點。因此，最後就以這個結果做為輸出了。

當然，這不是一個正確的斷詞結果，但我們剛好可以從這個錯誤來解釋說明 Articut 的運作原理。而也正是因為這個「可解釋性」，讓 Articut 可以輕易地做出持續的版本精進調整 (e.g., 把 "學會" 也視為是一個中心語)，並且可以不帶字典 (留給使用者自定)，只用幾 MB 程式大小，就一次搞定 CWS/POS/NER 的 NLP 基礎建設三本柱的需求了。

1 月：KeyMojiAPI 上 PyPI 了！

令人驚豔的 KeyMoji 情緒偵測引擎，不但可以計算文本的「正負」情緒系數，更能將每個句子都細分成八個維度的面向。對於客戶評語、活動意見調查…等等分析，更能「一圖勝萬言」地視覺化呈現結果。

這麼強大的功能，只要 pip3 install -U KeyMojiAPI 就能輕鬆取用了哦！

2 月：ArticutAPI 上 PyPI 了！

2021 年裡，我們將 ArticutAPI 上架了 Python 的 PyPI 軟體庫，您只要利用 pip3 install -U ArticutAPI 的指令，便能輕鬆地在自己的 Python 環境中安裝 ArticutAPI，取用 Articut 的強大 NLP 功能。

3月：NLP_Training 入門教材上線

想學 NLP，卻不知道從何下手？這裡有教材呀！ https://github.com/Droidtown/NLP_Training需要簡報和 Jupyter 嗎？沒問題，台師大語言所的博士生 Howard 同學也釋出了四週的教材，讓想要自學以及教學的需求，一次滿足！https://github.com/howardsukuan/textual-data-analysis-python

4 月：Low-Code / No-Code 當然，何樂不為呢？

對於不會寫程式，但是熟悉 Microsoft Excel 的使用者，我們也特別打造了 ArticutEXL 讓您可以在直覺的 Excel 365 介面下，也能享受 Articut NLP 工具的強大分析能力。

5 月：NER 工具包全面上線！

此外，我們也將 ArticutAPI 的各種 NER 工具，重新編寫了一套 Wiki 說明頁，並附上範例程式碼，供您取用與參考：https://github.com/Droidtown/ArticutAPI/wiki。

9 月：這裡有一批好厲害的 Loki NLU 專家，有需要就上 Discord 找人才吧！

經過六月的海選以及七、八、九連續三個月的紮實訓練，我們今年有 23 位遍佈全球的實習生完成了 2021 年的「卓騰實習企劃」訓練，並做出了各種有趣又不失實用性的 NLU 專案。這些專案全部都可以在開源的 LokiHub 裡取得之餘，每位實習生也都在各自的專案裡留下了聯絡方式。您可以取得「程式碼」也能找到「開發者」，更能在我們的 Discord 頻道裡暢談各種 NLP/NLU 的新發想哦！

10月：Wordy 中文仿作生成系統也可以 pip 安裝囉

有了一篇文章，還需要產生千千萬萬篇「類似內容，但又不想照抄」的文章嗎？透過 WordyAPI，就能讓你的一篇文字，瞬間長出千千萬萬篇類似內容，但又有微妙差異的文章。什麼地方可以用呢？除了大家立刻想到的內容農場以外，其實也可以用這種方式產生「大量文本」做為機器學習的訓練資料 (training set)哦！從此以後，「資料不足」再也不是訓練 NLP 模型的瓶頸了。更棒的是，WordyAPI 也可以透過 pip3 install -U WordyAPI 安裝哦！

11 月：NLP_TrainingLAB 教育/開發 VirtualBox 環境

在工作坊教學或是開發時，懶得設置環境嗎？ 沒問題，我們也準備了 NLP_TrainingLAB 的 VirtualBox 映像檔。只要先在你的電腦裡安裝好 VirtualBox，接下來只要載入我們準備的 NLP_TrainingLAB，就立刻擁有一個全部設定都調整好的 NLP 開發環境了。

除了主講人在上課外，台下的聽眾和學生是否也有更即時，也更增進學習樂趣的互動方式呢？為了這個增進學習和聽講時的樂趣，我們特別做了可以暱名在 Youtube 直播中打彈幕的 TextQ！

秉持卓騰一直以來的「注重使用者隱私」的企業價值。所有在彈幕上的發言都是「暱名」的哦！快來重溫課堂裡傳紙條的學習氣氛吧。

12 月：ArticutEN / LokiEN 上線囉！

卓騰語言科技的各種 NLP 工具都是立基於 MIT 語言學教授 Chomsky 提出的理論，這表示所有人類的語言都可以通用同一套演算法！於是，我們特別把所有 Articut 中文版裡使用到的各種函式，全部移植到 ArticutEN 裡 (將來也計劃繼續擴展 ArticutJP、ArticutES …等等)，做出了可以處理英文的 ArticutEN/LokiEN 囉！相較於市面上所有的語言處理技術都是先發生在英文，然後才被「假設」在其它語言中也能使用。ArticutEN/LokiEN 是極為少見的「原本是處理中文的語言技術，可以逆輸出應用到歐美語言」的例子。操作方式完全和中文版的 Articut/Loki 一模模，一樣樣。您掌握的操作技術，將會在各種語言都能使用！真真正正達到了划算的學習投資！

精采的一年，感謝有您！What a year! Glad you're here. :)

雖然今年各行各業有近半年的時間因為疫情進入三級警戒而受到影響，但在您的支持與愛護下，卓騰全體同仁仍能競競業業地完成一項又一項的 NLP/NLU 工具，繼續朝向我們設定的「強人工智慧」邁進。

讓我再次向您表示感謝之餘，也懇請您繼續支持我們，讓我們可以從台灣出發，透過 NLP 技術為人工智慧搭起一座「認知」和「應用」的橋樑。