小團隊的人手有限,每天光是核對文件上的資料,就可能花掉不少時間。發票是其中一個常見的例子:日期、統編、金額,這些欄位讀出來之後,還是得有人確認才能接著用。
所以我拿發票做了第一個 PoC,試著把 QR code 和 LLM 讀到的內容放在一起比對,再用規則檢查格式、金額等資料。如果有缺漏或對不上的地方,就標出來,提醒使用的人再看一下。
測試時,有張發票的 QR code 掃不出來,但 LLM 還是讀到了部分內容。這時系統會保留讀到的資料,並註明這些欄位只有 LLM 的結果,沒有 QR code 可以比對,需要人工確認。
這也是 receipt-scanner 想先處理的問題:從文件讀出資料之後,怎麼讓接手的人或程式知道,資料從哪裡來、有哪些疑點。
哪些交給 QR code,哪些交給 LLM?
現在的 LLM 能從圖片讀取文字、理解欄位與位置,很容易讓人想把整張文件丟進去,請它整理好所有資料。
不過,如果文件本身已經提供固定格式的資料,我會先利用它。
台灣電子發票的 QR code 就是一個例子。裡面的固定欄位可以按規格解析,不必讓模型重新辨識。這條路徑不需要呼叫 LLM API,也比較容易追查程式是怎麼取得結果的。
LLM 則適合處理圖片裡仍看得見、卻沒有辦法直接按固定格式取出的內容。例如 QR code 掃不出來,但日期、統編和總金額仍清楚印在紙上,就可以嘗試從圖片讀取。
| 方法 | 在這個 PoC 裡負責什麼 | 優點與限制 |
|---|---|---|
| QR code 解析 | 依固定格式取出欄位 | 不需呼叫 LLM API;可能無法解碼,讀到內容也不代表已確認真偽 |
| LLM 圖片辨識 | 從圖片中的文字與位置抽取欄位 | QR code 無法讀取時仍可能取得資料;可能誤讀、漏讀 |
| 程式規則 | 檢查格式、合理範圍及部分資料一致性 | 條件明確,能重複測試;只能找出已定義的問題 |
我的做法是依資料的特性分工:能按格式解析的部分,交給 parser;需要從圖片辨識的部分,再讓 LLM 幫忙。
先整理成相同欄位,才能比較
receipt-scanner 目前有兩條路徑。預設只使用 QR code;若無法解碼,會回報錯誤。明確啟用 LLM 後,才會呼叫外部 API。
啟用 LLM 時,它會獨立讀取圖片,程式不會先把 QR code 解析出的欄位提供給模型。接著,兩邊的結果會整理成共同的 schema,再逐欄比較。
這裡有一個容易忽略的差別:模型輸出符合 schema,代表資料能放進預期的欄位,卻不代表欄位內容正確。
所以接下來還要決定:兩邊讀到的內容不同時,該怎麼處理?
結果對不上時,留下明確的處理方式
啟用 LLM 時,針對發票號碼、日期、賣方統編和總金額,程式採用以下做法:
| 情況 | 目前怎麼處理 |
|---|---|
| 只有 QR code 有值 | 採用 QR code 的值,再執行規則檢查 |
| 只有 LLM 有值 | 格式檢查通過後保留,加入 warning |
| 雙方結果相同 | 採用 QR code 的值,再執行規則檢查 |
| 雙方結果不同 | 暫採 QR code 的值,記錄衝突並要求人工確認 |
| 雙方都沒有值 | 保留空值,記錄缺漏 |
LLM 提供的值如果連預期格式都不符合,會先被排除,並記錄問題。
發生衝突時,目前優先採用 QR code,是因為它提供的是按固定格式編碼的資料。這是一個明確的預設選擇,但不能因此假設 QR code 一定正確,所以衝突仍會被留下來,交給人確認。
整合之後,程式還會檢查金額範圍、銷售額與總金額的關係、稅額、統編 checksum,以及日期是否落在設定範圍內。
這些規則也有適用邊界。銷售額與總金額都大於零、數值相同,且兩者都來自 QR code 時,程式會留下 warning:可能不適用營業稅,也可能是 QR code 被刻意做成兩個金額相同;這不是驗證,仍需人工確認。其他適用的情況會以 5% 和 1 元容差檢查稅額;銷售額為零時則略過稅額檢查。換到實際企業使用時,需要依業務情境調整。
QR code 掃不出來,資料也不必全部丟掉
回到前面的測試情境。
當 QR code 無法解碼,但 LLM 仍讀到部分欄位時,程式會保留格式檢查通過的內容,同時記錄它只來自 LLM。
以下是簡化後的示意,使用合成資料,省略其他欄位:
{ "invoice_number": "AB12345678", "total_amount": 120, "sources": { "invoice_number": "llm", "total_amount": "llm" }, "issues": [ { "code": "invoice_number_qr_missing", "message": "invoice_number is only from LLM", "severity": "warning" }, { "code": "total_amount_qr_missing", "message": "total_amount is only from LLM", "severity": "warning" } ], "needs_review": true}這裡的 warning 並不是在說「LLM 讀錯了」,而是提醒:目前只有這一份讀取結果,缺少 QR code 可以交叉比對。
sources 記錄欄位最後採用哪個來源;issues 說明程式發現的問題。只要有任何 warning 或 error,needs_review 就會是 true。
後續程式可以根據這些資訊決定如何接手。不過,目前做到的是輸出這個訊號,還沒有人工審核畫面,也沒有修正、核准或回寫流程。
沒有 issue,也不代表發票是真的
即使 QR code 與 LLM 讀到的內容相同,也只能表示兩種讀法一致,不能證明文件真實。因此,輸出目前只能作為輔助參考,不可直接用於金額核對或報帳;實際報帳前仍需要人工審核。
| 目前有做 | 尚未做到 |
|---|---|
| 記錄欄位最後採用 QR code 或 LLM | 保存雙方原值、文件位置與完整 audit trail |
| 檢查格式、金額、統編與日期等規則 | 驗證 QR code 加密欄位及發票真偽 |
| 將缺漏、衝突與 LLM 單一來源標出來 | 提供模型獨立的 confidence score |
| 輸出 needs_review | 人工修正、核准回寫、自動入帳與企業流程整合 |
資安也影響資料進出系統的方式。圖片裡可能出現看似指令的文字,因此程式只把 LLM 的輸出當資料處理,搭配 schema 與欄位檢查限制內容;這些措施仍不能當作完全防住 prompt injection 的保證。
另外,啟用 LLM 會把處理後的圖片送到外部 API。採用前必須先確認文件是否適合傳送,以及服務商如何處理和保留資料。目前也還沒做到只傳送必要的圖片區域,這是後續需要改善的地方。
可以重用的是處理骨架
我選擇發票作為起點,但想探索的方法可以延伸到其他文件:
抽取欄位 → 整合不同來源 → 用業務規則檢查 → 標出需要人確認的地方。
訂單可能要核對品項、數量與總價;報價單可能要檢查有效期限和付款條件。每種文件需要的 schema、規則和驗證方式都不同,不能把同一套模型與條件直接套上去。
receipt-scanner 目前完成的是圖片到 JSON 的 pipeline。它還需要更多樣本測試,才能評估欄位正確率、延遲和成本;也需要接上實際工作流程,才能知道是否減少了核對時間。
這個 PoC 讓我先把問題拆清楚:哪些資料可以直接解析、哪些需要 LLM、結果衝突時如何處理,以及什麼時候應該交回人工判斷。這些決定,是讓 AI 輸出能被接手使用的基礎。
程式與使用限制公開在 receipt-scanner GitHub repository。