#stop word

在資訊檢索中，為節省存儲空間和提高搜索效率，每篇文章都會出現的詞，便會被列為停用詞，因為這個詞彙「每．一．篇．都．有」，那麼表示用它來做搜尋是沒有效率的。例如中文的「的」、「是」、「因為」、「我」...等等就屬於這類，而這樣的詞就可以被列為停用詞。

讀到這裡，讀者應該已經看出來「既然停用詞是依『每一篇文本』都會出現的詞來決定的」，那麼去列出一個停用詞表，期待你的 NLP 應用能像鬼滅之刃的善逸一樣只用一招走天下，實際上是需要大量的運氣成份，才能取得良好結果的。

雖然基本上，一個詞是否為停用詞，需要看文獻集和計算目的，這和一個詞在語言學上的意義無關。因為停用詞是從計算的角度來討論，會造成計算上的負擔或是降低搜尋準確度的詞，都可以當作停用詞。另一方面，如果某些計算或檢索，不希望遺漏任何一個詞，那麼就不適用停用詞表。

此外，以目前流行的深度學習來說，計算對象是原始文獻，因為在訓練模型時，不需要做任何前處理。因此在深度學習的實作流程中，很少看到有人使用「停用詞」。

綜合以上，我們可以有幾個小結論：

直接使用別人的停用詞表，容易造成誤砍自己文本停用詞的問題，因此不適合使用停用詞表。

以深度學習的 NLP 應用而言，在文本數量極大的情況下，為了避免使用停用詞而對模型的效果造成影響，因此也不適合使用停用詞表。

那麼，究竟什麼候應該使用停用詞呢？當你的模型並不是透過數 TB 這種量級的文本集訓練出來的，或是你希望可以最大化地凸顯手邊文本集的特徵時，就可以使用「停用詞」。

問題來了，我們該怎麼樣才能達到「既要使用停用詞」但「又不要使用停用詞表」這樣的目標呢？

根據前述的定義條件，「停用詞」跟代名詞、助動詞、介系詞、連接詞等和文法、句法有關的「功能詞」相似。因此 Articut 中內建了一個工具來達成這個目標：.getContentWordLIST()

.getContentWordLIST() 會留下每個句子（或文章）主要的內容詞彙，效果就幾乎和去掉停用詞一樣了。下表列出四個句子使用 .getContentWordLIST() 後得到的內容詞：

用 .getContentWordLIST() 已經將每句話的表達意義的主要詞彙篩選出來後，所謂的「內容詞」，就是每個句子裡較有意義的詞彙：

餐桌, 有, 蘋果

鱔魚, 意麵, 甜

雞肉飯, 也, 甜

接下來我們以這三個句子為範圍來做一個常見的 NLP 任務：利用 tf-idf 來計算每一個句子的關鍵字。結果如下表：

如結果所示（在此不特別解釋 tf-idf 的各項意義），「甜」這個詞因為在兩個句子中出現，因此 IDF 的值低於其他只在一個句子中出現的詞。因此「甜」這個詞的 tf-idf 值就小於其他的詞。

簡言之，「甜」做為關鍵詞的重要性是比較低的。