為大模型惡補數學，交開源MathPile語料庫，95億tokens，還可商用

• 論文網址：https://huggingface.co/papers/2312.17120

• 計畫網址： https://gair-nlp.github.io/MathPile/
• #程式碼位址：https://github.com/GAIR-NLP/MathPile

• #研究使用：https://huggingface.co/datasets /GAIR/MathPile
• 商業版本：https://huggingface.co/datasets/GAIR/MathPile_Commercial

^{MathPile 的資料收集和處理過程。}

• ##偵測包含「lorem ipsum」的行，如果將行中「lorem ipsum」替換掉少於5 個字符，便移除該行；
• 偵測包含「javescript 」且同時包含「enable」,「disable」或「browser」 的行，且該行的字元數量小於200 字符，便過濾掉該行；
##過濾掉少於10 個字並且包含「Login」, “sign-in”, “read more...”, 或 “items in cart” 的行；
過濾掉大寫單字佔比超過40% 的文件；
過濾掉以省略號結尾的行佔比整個文件超過30% 的文件;
過濾掉非字母單字的比例超過80% 的文檔；
過濾掉文檔平均英文單字字元長度介於（3，10）區間以外的文檔；
過濾掉不包含至少兩個停用詞（如the, be, to, of, and, that, have 等）的文檔；
過濾掉省略號與單字比例超過50% 的文件；
過濾掉項目符號開始的行佔比超過90% 的文件；
過濾掉移除掉空格和標點符號後少於200 個字元的文件；
...

如下圖所示，研究團隊在進行資料外洩偵測過程中發現了來自 MATH 測試集的問題（如黃色高亮處所示）。

研究團隊也揭露了一些初步的實驗結果。他們在目前頗受歡迎的 Mistral-7B 模型的基礎上進行了進一步的預訓練。接著透過少量樣本提示（few-shot prompting）方法，在一些常見的數學推理基準資料集上進行了評估。目前已獲得的初步實驗數據如下：

這些測試基準涵蓋了各個層次的數學知識，包括小學數學（例如GSM8K、TAL-SCQ5K-EN 和MMLU- Math），高中數學（如MATH、SAT-Math、MMLU-Math、AQuA 和MathQA），以及大學數學（例如MMLU-Math）。研究團隊初步發表的實驗結果顯示，透過在 MathPile 中的教科書和維基百科子集上進行繼續預訓練，語言模型在不同難度級別的數學推理能力上均實現了比較可觀的提升。

研究團隊也強調，相關實驗仍在持續進行中。

^{MathPile 登 Huggingface Datasets 趨勢名單。}

以上是為大模型惡補數學，交開源MathPile語料庫，95億tokens，還可商用的詳細內容。更多資訊請關注PHP中文網其他相關文章！