基於大型語言模型的資訊擷取方法

技術摘要

企業日常營運所需之大量無規則的非結構化資料,如發票、提單或是履歷。若請人閱讀並找出關鍵資訊輸入公司系統,耗時又耗力。

為了解決以上問題,本發明提出的資訊擷取系統使用大型語言模型(LLM),其擁有背景知識與推理能力的特性,可從大量格式不同的非結構化資料中整理出結構化資料,供員工快速看到文件重點,也可串接公司內系統,幫助企業節省大量人力成本。

本發明設計一套訓練流程以增強資訊擷取的效果,在內容最終提示組成模組中,分析欄位錯誤率,進行困難句子解釋,產出更適合LLM理解的prompt,並在信心度換算模組中定義出同類型的資料集的信心度區間,以作為使用者人工判斷擷取結果準確率之參考。

現有技術描述、問題及其缺陷

現有資訊擷取專利方法並無採用LLM的前例。相較習用的多模態模型,本發明針對非結構化資料所採用的輸入只需要文字,節省了大量影像處理時間,克服較長實體抓取不佳的問題。而相較傳統只採用文字輸入的QA模型,LLM的應用更增進了資訊擷取的推理能力,也能統一輸出成特定的格式與單位。而為了增進資訊擷取的效果,提出的訓練方法可以幫助LLM理解同類型資料集中的困難句子,同時得到信心度以協助使用者判別結果。

本技術發明之目的及達成功效

本發明採用LLM的技術,在實務上格式不一的資料中能更好的抓取到目標欄位。本發明也提供非專業人員也能用自然語言將單位/額外格式需求告知系統,使用automatic prompt engineering技術,設計出一套簡易的操作方法,讓資訊擷取的結果可以匹配公司內部需求的單位/格式。另外,使用本發明的訓練方式,可以更加優化資訊擷取的prompt,並產生出適合同類型資料集的信心度,增進資訊擷取的效果。

相關專利資訊

中華民國專利證書號:I913829

使用者操作流程

<p>使用者操作流程</p>

媒合詢問

分類資訊

歸屬分類 : 資訊與通訊
歸屬系所 : 東海大學工學院
歸屬教師 : 白鎧誌

適用產業類別:

關鍵字: