所有文章

AI 應用 · receipt-scanner

AI 讀完發票之後,資料就能直接用了嗎?

從 receipt-scanner 出發,談 QR code、LLM 與規則如何分工,以及哪些地方仍需要人來判斷。

本篇目錄 · 6 個章節

小團隊的人手有限,每天光是核對文件上的資料,就可能花掉不少時間。發票是其中一個常見的例子:日期、統編、金額,這些欄位讀出來之後,還是得有人確認才能接著用。

所以我拿發票做了第一個 PoC,試著把 QR code 和 LLM 讀到的內容放在一起比對,再用規則檢查格式、金額等資料。如果有缺漏或對不上的地方,就標出來,提醒使用的人再看一下。

測試時,有張發票的 QR code 掃不出來,但 LLM 還是讀到了部分內容。這時系統會保留讀到的資料,並註明這些欄位只有 LLM 的結果,沒有 QR code 可以比對,需要人工確認。

這也是 receipt-scanner 想先處理的問題:從文件讀出資料之後,怎麼讓接手的人或程式知道,資料從哪裡來、有哪些疑點。

哪些交給 QR code,哪些交給 LLM?

現在的 LLM 能從圖片讀取文字、理解欄位與位置,很容易讓人想把整張文件丟進去,請它整理好所有資料。

不過,如果文件本身已經提供固定格式的資料,我會先利用它。

台灣電子發票的 QR code 就是一個例子。裡面的固定欄位可以按規格解析,不必讓模型重新辨識。這條路徑不需要呼叫 LLM API,也比較容易追查程式是怎麼取得結果的。

LLM 則適合處理圖片裡仍看得見、卻沒有辦法直接按固定格式取出的內容。例如 QR code 掃不出來,但日期、統編和總金額仍清楚印在紙上,就可以嘗試從圖片讀取。

方法 在這個 PoC 裡負責什麼 優點與限制
QR code 解析 依固定格式取出欄位 不需呼叫 LLM API;可能無法解碼,讀到內容也不代表已確認真偽
LLM 圖片辨識 從圖片中的文字與位置抽取欄位 QR code 無法讀取時仍可能取得資料;可能誤讀、漏讀
程式規則 檢查格式、合理範圍及部分資料一致性 條件明確,能重複測試;只能找出已定義的問題

我的做法是依資料的特性分工:能按格式解析的部分,交給 parser;需要從圖片辨識的部分,再讓 LLM 幫忙。

先整理成相同欄位,才能比較

receipt-scanner 目前有兩條路徑。預設只使用 QR code;若無法解碼,會回報錯誤。明確啟用 LLM 後,才會呼叫外部 API。

啟用 LLM 時,它會獨立讀取圖片,程式不會先把 QR code 解析出的欄位提供給模型。接著,兩邊的結果會整理成共同的 schema,再逐欄比較。

RECEIPT-SCANNER / 已實作的資料流程
發票圖片
QR code按固定格式解析預設路徑
LLM獨立讀取圖片明確啟用後才呼叫 API
逐欄整合選擇來源,記錄缺漏與衝突
規則檢查格式、金額、統編、日期
JSON欄位值 · sources · issues · needs_review
只用 QR code 時,也會執行規則檢查。人工審核介面與自動入帳不在目前實作範圍內。

這裡有一個容易忽略的差別:模型輸出符合 schema,代表資料能放進預期的欄位,卻不代表欄位內容正確。

所以接下來還要決定:兩邊讀到的內容不同時,該怎麼處理?

結果對不上時,留下明確的處理方式

啟用 LLM 時,針對發票號碼、日期、賣方統編和總金額,程式採用以下做法:

情況 目前怎麼處理
只有 QR code 有值 採用 QR code 的值,再執行規則檢查
只有 LLM 有值 格式檢查通過後保留,加入 warning
雙方結果相同 採用 QR code 的值,再執行規則檢查
雙方結果不同 暫採 QR code 的值,記錄衝突並要求人工確認
雙方都沒有值 保留空值,記錄缺漏

LLM 提供的值如果連預期格式都不符合,會先被排除,並記錄問題。

發生衝突時,目前優先採用 QR code,是因為它提供的是按固定格式編碼的資料。這是一個明確的預設選擇,但不能因此假設 QR code 一定正確,所以衝突仍會被留下來,交給人確認。

整合之後,程式還會檢查金額範圍、銷售額與總金額的關係、稅額、統編 checksum,以及日期是否落在設定範圍內。

這些規則也有適用邊界。銷售額與總金額都大於零、數值相同,且兩者都來自 QR code 時,程式會留下 warning:可能不適用營業稅,也可能是 QR code 被刻意做成兩個金額相同;這不是驗證,仍需人工確認。其他適用的情況會以 5% 和 1 元容差檢查稅額;銷售額為零時則略過稅額檢查。換到實際企業使用時,需要依業務情境調整。

QR code 掃不出來,資料也不必全部丟掉

回到前面的測試情境。

當 QR code 無法解碼,但 LLM 仍讀到部分欄位時,程式會保留格式檢查通過的內容,同時記錄它只來自 LLM。

以下是簡化後的示意,使用合成資料,省略其他欄位:

{
"invoice_number": "AB12345678",
"total_amount": 120,
"sources": {
"invoice_number": "llm",
"total_amount": "llm"
},
"issues": [
{
"code": "invoice_number_qr_missing",
"message": "invoice_number is only from LLM",
"severity": "warning"
},
{
"code": "total_amount_qr_missing",
"message": "total_amount is only from LLM",
"severity": "warning"
}
],
"needs_review": true
}

這裡的 warning 並不是在說「LLM 讀錯了」,而是提醒:目前只有這一份讀取結果,缺少 QR code 可以交叉比對。

sources 記錄欄位最後採用哪個來源;issues 說明程式發現的問題。只要有任何 warning 或 error,needs_review 就會是 true。

後續程式可以根據這些資訊決定如何接手。不過,目前做到的是輸出這個訊號,還沒有人工審核畫面,也沒有修正、核准或回寫流程。

沒有 issue,也不代表發票是真的

即使 QR code 與 LLM 讀到的內容相同,也只能表示兩種讀法一致,不能證明文件真實。因此,輸出目前只能作為輔助參考,不可直接用於金額核對或報帳;實際報帳前仍需要人工審核。

目前有做 尚未做到
記錄欄位最後採用 QR code 或 LLM 保存雙方原值、文件位置與完整 audit trail
檢查格式、金額、統編與日期等規則 驗證 QR code 加密欄位及發票真偽
將缺漏、衝突與 LLM 單一來源標出來 提供模型獨立的 confidence score
輸出 needs_review 人工修正、核准回寫、自動入帳與企業流程整合

資安也影響資料進出系統的方式。圖片裡可能出現看似指令的文字,因此程式只把 LLM 的輸出當資料處理,搭配 schema 與欄位檢查限制內容;這些措施仍不能當作完全防住 prompt injection 的保證。

另外,啟用 LLM 會把處理後的圖片送到外部 API。採用前必須先確認文件是否適合傳送,以及服務商如何處理和保留資料。目前也還沒做到只傳送必要的圖片區域,這是後續需要改善的地方。

可以重用的是處理骨架

我選擇發票作為起點,但想探索的方法可以延伸到其他文件:

抽取欄位 → 整合不同來源 → 用業務規則檢查 → 標出需要人確認的地方。

訂單可能要核對品項、數量與總價;報價單可能要檢查有效期限和付款條件。每種文件需要的 schema、規則和驗證方式都不同,不能把同一套模型與條件直接套上去。

receipt-scanner 目前完成的是圖片到 JSON 的 pipeline。它還需要更多樣本測試,才能評估欄位正確率、延遲和成本;也需要接上實際工作流程,才能知道是否減少了核對時間。

這個 PoC 讓我先把問題拆清楚:哪些資料可以直接解析、哪些需要 LLM、結果衝突時如何處理,以及什麼時候應該交回人工判斷。這些決定,是讓 AI 輸出能被接手使用的基礎。

程式與使用限制公開在 receipt-scanner GitHub repository。