回應 07/31:MECE · 固定抽取 · 可驗證 evidence
依老師建議,先用 人、事、時、地、物 建立 fact_schema.json。
fact_schema.json
關鍵設計不是再加幾個欄位,而是訂一條約束:
規則的 condition 欄位,只能使用情境 schema 已定義的 key。
這樣 MECE 不再只是人工閱讀時的感覺,而能變成 validator 可以檢查的規格。
情境 schema → 限制規則條件 → 判定時也只能讀同一組案件事實
原本:
把一段法規交給 LLM → 請它自己整理成規則
改成:
程式固定問 6 類問題 → 每一格回答封閉選項 → 附 evidence_span → 程式驗證原文真的存在
evidence_span
其中 evidence_span 必須能逐字回到原始 PDF / 文字來源。
LLM 從「規則作者」降成「逐格標註者」;流程本身決定哪些問題一定要問。
當時規劃:
這次重點不是模型一次答得多漂亮,而是:
每一格有沒有問、答案能不能被驗證、哪一格需要人工複核,都能被記錄。
使用者自由文字
↓ AI 只做語意轉換
案件 facts
↓ deterministic
judge.py 比對規則 / 取嚴
judge.py
↓
判定 + 依據 + 還缺的資訊
現場仍用「國科會 3 個月 vs 中央大學 45 天」展示,並補上資訊不足時反問使用者的雛形。
計畫先用實驗室 GPU 上的本地模型:
qwen3:8b
llama3.1:70b
先確認:
核心思路:小模型先驗證流程健壯性,大模型再換品質。
系統正確性之外,使用者看不看得懂、願不願意用,開始成為同等重要的驗收條件。