有效地將連續文字分割成單字清單
這個問題提出了一個挑戰：給定一個不帶空格的文字字串，設計一種演算法來提取單字。
一種幼稚的方法會迭代地辨識並刪除最長的可能單字。然而，這種策略在現實場景中可能效率低下。
機率方法
為了克服這些限制，機率模型將詞頻納入演算法。 Zipf 定律將單字的機率近似與其詞頻排名成反比。
使用此模型，我們可以為每個可能的單字中斷定義一個成本函數，作為整個句子的負對數機率，如果必須打破。採用動態規劃找出總成本最低的斷詞。
實作
下面提供的Python程式碼實作了此演算法：
<code class="python">from math import log
# Build a cost dictionary based on Zipf's law
words = open("words-by-frequency.txt").read().split()
maxword = max(len(x) for x in words)
wordcost = dict((k, log((i+1)*log(len(words)))) for i,k in enumerate(words))
def infer_spaces(s):
cost = [0]
for i in range(1,len(s)+1):
candidates = enumerate(reversed(cost[max(0, i-maxword):i]))
c,k = min((c + wordcost.get(s[i-k-1:i], 9e999), k+1) for k,c in candidates)
cost.append(c)
out = []
i = len(s)
while i>0:
c,k = best_match(i)
assert c == cost[i]
out.append(s[i-k:i])
i -= k
return " ".join(reversed(out))</code>使用此程式碼：
<code class="python">s = 'thumbgreenappleactiveassignmentweeklymetaphor' print(infer_spaces(s))</code>
產生：
thumb green apple active assignment weekly metaphor
最佳化
為了提高效率，可以從建立後綴樹單字清單以減少搜尋空間。將輸入字串分割成更小的區塊也可以減少記憶體使用。
結論
透過建模詞頻和使用動態規劃，我們獲得了一種有效的分割連續文本的演算法分解為單字，為現實世界的文本提供準確的結果。
以上是我們如何使用機率方法有效地將連續文字分割成單字清單？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
