首頁 > 後端開發 > Python教學 > #|自動提取 PDF 資料:構建

#|自動提取 PDF 資料:構建

Barbara Streisand
發布: 2024-12-15 11:06:11
原創
644 人瀏覽過

概述

我寫了一個 Python 腳本,將 PDF 資料擷取業務邏輯轉換為工作程式碼。

該腳本在71 頁 涵蓋 10 個月期間(2024 年 1 月至 10 月)的託管人聲明 PDF 中進行了測試。處理 PDF 大約需要 4 秒 才能完成 - 比手動處理快得多。

# | Automate PDF data extraction: Build

據我所知,輸出看起來正確且程式碼沒有遇到任何錯誤。

三個 CSV 輸出的快照如下圖所示。請注意,敏感資料已顯示為灰色。

快照1:持股

# | Automate PDF data extraction: Build

快照2:基金持股

# | Automate PDF data extraction: Build

快照3:現金持有

# | Automate PDF data extraction: Build

此工作流程顯示了我產生 CSV 檔案所採取的主要步驟。

# | Automate PDF data extraction: Build

現在,我將更詳細地闡述我如何將業務邏輯轉換為 Python 程式碼。

第1步:閱讀PDF文檔

我使用了 pdfplumber 的 open() 函數。

# Open the PDF file
with pdfplumber.open(file_path) as pdf:
登入後複製
登入後複製

file_path 是一個宣告的變量,它告訴 pdfplumber 要開啟哪個檔案。

步驟2.0:從每個頁面擷取並篩選表格

extract_tables() 函數完成從每個頁面提取所有表格的艱苦工作。

雖然我不太熟悉底層邏輯,但我認為這個功能做得相當不錯。例如,下面的兩個快照顯示了提取的表格與原始表格(來自 PDF)

快照 A:VS Code 終端機的輸出

# | Automate PDF data extraction: Build

快照 B:PDF 中的表格

# | Automate PDF data extraction: Build

然後我需要為每個表格添加唯一的標籤,以便稍後我可以從特定表中「挑選」資料。

理想的選擇是使用每個表的標題。然而,確定標題座標超出了我的能力。

作為解決方法,我透過連接前三列的標題來標識每個表。例如,快照 B 中的 Stock Holdings 表標記為 Stocks/ETFsnNameExchangeQuantity。

⚠️這種方法有一個嚴重的缺點 - 前三個標頭名稱不能使所有表都足夠唯一。幸運的是,這只會影響不相關的表。

步驟2.1:提取、過濾和轉換非表格文本

我需要的具體值 - 帳號和對帳單日期 - 是每個 PDF 第 1 頁中的子字串。

例如「帳號M1234567」包含帳號「M1234567」。

# | Automate PDF data extraction: Build

我使用了 Python 的 re 函式庫並讓 ChatGPT 推薦了合適的正規表示式(「regex」)。正規表示式將每個字串分為兩組,所需資料位於第二組中。

帳單日期和帳號字串的正規表示式

# Open the PDF file
with pdfplumber.open(file_path) as pdf:
登入後複製
登入後複製

接下來我將報表日期轉換為「yyyymmdd」格式。這使得查詢和排序資料變得更加容易。

regex_date=r'Statement for \b([A-Za-z]{3}-\d{4})\b'
regex_acc_no=r'Account Number ([A-Za-z]\d{7})'
登入後複製

match_date 是在找到與正規表示式相符的字串時宣告的變數。

步驟 3:建立表格數據

硬碼 - 擷取相關資料點 - 此時已基本完成。

接下來,我使用 pandas 的 DataFrame() 函數根據 第 2 步第 3 步 中的輸出建立表格資料。我還使用此功能刪除不必要的列和行。

最終結果可以輕鬆寫入 CSV 或儲存在資料庫中。

步驟 4:將資料寫入 CSV 文件

我使用 Python 的 write_to_csv() 函數將每個資料幀寫入 CSV 檔案。

 if match_date:
    # Convert string to a mmm-yyyy date
    date_obj=datetime.strptime(match_date.group(1),"%b-%Y")
    # Get last day of the month
    last_day=calendar.monthrange(date_obj.year,date_obj.month[1]
    # Replace day with last day of month
    last_day_of_month=date_obj.replace(day=last_day)
    statement_date=last_day_of_month.strftime("%Y%m%d")
登入後複製

df_cash_selected 是 Cash Holdings 資料框,而 file_cash_holdings 是 Cash Holdings CSV 的檔案名稱。

➡️一旦掌握了一些資料庫知識,我就會將資料寫入合適的資料庫。

下一步

工作腳本現已到位,可從託管人聲明 PDF 中提取表格和文字資料。

在繼續之前,我將執行一些測試來查看腳本是否按預期工作。

--結束

以上是#|自動提取 PDF 資料:構建的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:dev.to
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
作者最新文章
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板