目前機器人流程自動化(RPA)在自動化重複性任務方面取得了重大進展,但在處理用戶提出的即時或難以預測的任務時,其效果會大打折扣。現有的RPA方法主要依賴專家知識和明確定義的流程,難以應對這類情況。同時,大型語言模型(LLMs)在程式碼生成方面展現了巨大潛力,但在實際應用中仍面臨諸如幻覺和隱私保護等挑戰。
JP Morgan今天發表報告，旨在探索如何利用LLMs來自動生成工作流程,突破傳統RPA的局限性。
原理發明:
本文提出了FlowMind框架,其核心創新在於提出了一種通用的提示生成模板(generic lecture recipe),用於向LLM講解任務背景和可用的APIs。該模板包含三個關鍵元件:
1. Context:介紹任務的領域背景,幫助LLM理解用戶的需求。
2. APIs:列舉可用的APIs,詳細說明每個函數的輸入、輸出和功能,使LLM能夠在推理過程中調用這些APIs。
3. Code:要求LLM根據用戶的提問或任務,利用提供的APIs來生成對應的工作流程程式碼。
通過這樣的提示生成模板,FlowMind可以利用LLM強大的自然語言理解和生成能力,同時將其推理建立在可靠的APIs之上。這不僅減少了LLM的幻覺問題,還避免了其直接接觸敏感的專有資料或程式碼,保證了資訊的完整性和機密性。
此外,FlowMind還引入了使用者回饋機制。系統會向使用者展示自動生成工作流程的高階描述,使用者可以據此提供回饋意見。FlowMind會依據回饋來調整工作流程,使其更符合使用者的期望。這種人機互動模式有助於提高系統的靈活性和適應性。
實驗方法:
為了評估FlowMind的效能,本文在金融領域提出了一個新的問答資料集NCEN-QA,其中包含600個關於基金的問答對,題目難度分為Easy、Intermediate和Hard三個等級。資料集的建立基於從SEC網站上爬取的N-CEN報告。
作者開發了一系列和N-CEN報告處理相關的APIs,涵蓋資料檢索、切分和提取等關鍵功能,供FlowMind調用。在實驗中,作者使用GPT-3.5-turbo作為LLM,比較了以下方法在NCEN-QA上的表現:
- FlowMind:完整的FlowMind框架
- FlowMind+feedback:帶使用者回饋的FlowMind
- GPT-Context-Retrieval:傳統的基於GPT和內容檢索的問答方法(baseline)
- FlowMind-NCT / BA / NCP:消融實驗,分別去掉Context、使用語義不明確的API描述、去掉生成程式碼的要求
結果與結論:
實驗結果表明,FlowMind及其變體在NCEN-QA的三個子集上都大幅優於baseline方法。引入使用者回饋後,FlowMind的精確度進一步提升到接近100%。消融實驗證實了提示生成模板中三個元件的重要性。Context有助於LLM理解任務背景,APIs的高質量描述確保了程式碼生成的正確性,而明確要求生成程式碼則是實現工作流程自動化的關鍵。
https://arxiv.org/pdf/2404.13050.pdf
本文的貢獻主要有三點:
1. 提出FlowMind框架,利用提示生成模板賦予LLM自動生成工作流程的能力,突破了傳統RPA方法的局限性。
2. 引入使用者回饋機制,允許使用者檢視和指導工作流程的優化,提高了系統的適應性。
3. 在金融領域提出NCEN-QA資料集,為工作流程自動化系統的評估提供了新的基準。
FlowMind為LLMs在自動工作流程生成領域的應用開闢了新的方向,特別適用於對資料安全性和任務即時性要求較高的行業。未來的工作可以探索如何擴展FlowMind以處理大型API庫,以及如何通過終身學習來持續優化系統表現。
沒有留言:
發佈留言