AI 客服試行計畫怎麼排？四週測試範圍與停損條件
用四週拆解 AI 客服小規模試行：從流程範圍、抽樣與失敗紀錄，到停損門檻及續行判斷。
AI 客服試行最容易失焦的地方，是一開始就想同時涵蓋所有問題、所有管道，最後既不知道哪種回答有用，也無法說明出了錯該停在哪裡。四週計畫的目的，是挑一條可辨識、可抽樣、有人能接手的流程，先建立基準，再逐週增加觀察範圍；到期時依事先約定的品質、風險與工作量決定續行、縮小或停止。下文以假設情境示範排程，數字只用來說明計算方式，不代表通用門檻。
先選哪條服務流程
先把讀者常見的客服工作拆成一個具體任務，例如查詢營業時間、確認訂單進度，或詢問退換貨需要準備什麼。第一輪只選一種入口、一類意圖和一個清楚的結束點：客人取得可核對的資訊，或被轉交給人工。不要把回答一切問題當成流程；它沒有可操作的邊界，抽樣時也很難判斷問題是答錯、資料不足，還是根本不在本次範圍。範圍越清楚，之後越容易比較同類問題。
比較候選流程時，查看近期對話紀錄，挑出重複出現、答案來源穩定，而且錯誤後果容易辨識的任務。若答案取決於個人身分、特殊折扣、人工判斷或尚未確認的即時狀態，就先排除，或規定碰到這些條件立即交接。選定後寫出納入條件、排除條件、可用資料、人工接手人及非服務時段的處理方式，避免測試開始後才臨時改定義。也要確認同仁看得到這些條件，遇到例外時不用猜測應走哪條路。
最後把試行入口與現行流程並排，確認參與人知道何時要看建議、何時自行回覆、如何標記例外。若同一訊息同時包含訂單查詢與客訴，先定義以哪個意圖為主，或直接列入排除清單；不要為了增加樣本量，把不同難度混在一起。這份流程卡應能讓新加入的同仁依文字作出相同判斷，否則先修清楚範圍，再進入四週安排。另需說明為何此刻適合試行；若答案來源仍在變動，先整理資料，別用試行分數掩蓋基礎問題。
四週測試如何切里程碑
四週要安排成由窄到寬的觀察，不是四次宣傳或四個功能清單。第一週先凍結範圍並整理現況：誰抽樣、用什麼標記、由誰接手、以哪份資料判定答案。從近期可比的對話建立人工流程基準，記下案件量、完整解決、補問、轉接和處理時間；若來源不一致，就把不能比較之處註明，不把舊資料硬湊成基準。這週的交付物是流程卡、基準紀錄和例外處理方式，完成前先不要擴大試行。
第二週採小量受控試行，每天檢查新出現的錯誤並保留人工接手；第三週只在前一週沒有觸發停止條件時增加抽樣，並特別觀察先前的錯誤類型；第四週維持同一範圍完成收尾，不在最後幾天突然加新意圖。每週固定一次檢視，會議只回答三件事：本週資料夠不夠、品質是否守住、下週是否照原計畫前進。每次檢視要留下決定、依據與負責人，避免口頭同意被誤當成已完成的檢查。
先把四週示意表寫在一頁：第1週確認流程與基準；第2週少量觀察；第3週擴大到預先約定的樣本；第4週停止加量並彙整。具體樣本數依團隊實際可覆核能力決定，不把示例當成業界標準。每個里程碑需有負責人和交付物，例如範圍卡、抽樣清單、錯誤紀錄及決策摘要。若任何週次因人力不足沒有完成抽查，就標示缺口並延長觀察或作出保守決定，不能把未檢查的對話算作通過。每週也要固定資料截點，避免同一批對話重複計入。
測試問題如何抽樣
抽樣先定清楚母體：哪些時段、入口和意圖都納入，哪類訊息因缺少上下文或不屬本次流程而排除。抽查方式可以輪替時段、涵蓋不同工作日，再特別加入曾出錯的類型；若只看最容易回答的幾則，結果會偏向好看。名單由固定規則產生，並保留抽中但無法判定的案例及原因，讓團隊知道數據缺的是哪一段。每次抽樣都記下範圍、日期與選取方式，方便下一週用相同條件重做。
例如，以下是假設的單週演練：共抽到100則，依事前規則排除12則後，88則是有效樣本；覆核結果為68則完整正確、12則資訊不完整、8則方向錯誤，三類合計88則。這裡的完整正確比例以88為分母，68除以88約為77%；不能拿68除以100當作有效樣本正確率，也不能把排除的12則默默刪掉。數字只示範分母和分類方式，不是建議門檻。若排除原因相近，也應查看它們是否其實暴露了流程範圍不清。
每個類別都要有可重複的判斷依據，例如是否回覆到問題、是否有資料支持、是否留下必要條件、是否應轉接。若兩位同仁對同一則判斷不同，先記錄分歧，再對照原始資料修訂定義；不要直接挑一個較高的分數。檢視時分開整體結果、各意圖結果與高風險例外，讓大量簡單問題不會掩蓋少量但重要的失誤。樣本很少時，逐則檢查通常比只報一個百分比更有用，也要說明哪些結果仍不足以比較。
失敗回報要記錄什麼
失敗紀錄的目的，是讓另一位同仁能重現問題並判斷下一步，不是只寫一句「回答不好」。每筆至少記錄發生時間、流程與意圖、原始問題、使用者可見的回答、當時可參考的資料、覆核結論及人工如何接手。若內容涉及個人或訂單資訊，回報時只保留定位問題所需的部分，避免在分享紀錄時擴散不必要的細節。團隊也要約定紀錄存放位置與可查看的人，讓樣本與回報能連回同一個追蹤編號。
接著用一致的原因分類，例如來源沒有答案、來源內容過期、理解錯誤、漏掉條件、應轉接卻自行回答，或操作流程未照約定執行。分類不是要替問題找藉口，而是分清楚要修資料、改流程、補訓練，還是停止試行。每一筆再標註影響程度、是否已回覆客人、是否需要人工補救，以及問題是否重複出現。若同一種錯誤來自不同原因，分開記錄，否則後續可能修了表面症狀，真正的觸發條件仍留著。
回報完成後指定負責人、預計處理時間與覆核方式；修正後要用原問題再檢查一次，也要抽查相近情境，確認改動沒有造成另一種錯誤。每週整理新增、重複、已修正和待處理項目，將未完成事項帶進下一次里程碑檢視。不要只看問題數量下降，就推論品質提升；也要核對這週是否抽到足夠且相似的情境。若缺少原始脈絡、答案依據或覆核結果，應標成無法判定，而非算作通過；回報欄位保持一致，交接才不必重新猜測發生了什麼。
哪些門檻需要停下來
停損門檻要在開始前寫明，並區分立即停止與暫停檢查。若出現不該揭露的資訊、可能造成實際損害的錯誤指示、明確應交接卻未交接，或人工接手失效，先停止相關流程的試行並保留紀錄，確認原因與影響後再決定是否恢復。這類事件不宜等到每週會議才處理。誰能按下暫停、如何通知現場、既有對話由誰接手，都要事先約定，否則門檻寫得再清楚也難以執行。
一般品質問題則應設定觀察窗、分母、允許範圍和升級動作。例如，團隊可以事先約定某一類缺漏在連續抽樣中重複出現就暫停增加樣本，先查資料來源；若錯誤跨越多種意圖，就把範圍退回最初流程。這些界線應由實際承擔服務責任的人確認，不能看到結果後才挑一個有利的標準。也要定義資料不足時的處理方式：延長觀察、維持原範圍，或先停止並重新設計，而不是把缺少證據解讀成安全。
門檻要同時涵蓋服務品質和現場負荷：補救工作是否集中到少數同仁、交接是否增加等待、覆核是否擠壓原本服務。可以預先指定一項可接受的上限和對應動作，但數字必須依團隊容量而定，不能照搬其他公司的做法。每次觸線記下觸發樣本、負責決定的人、立即措施和恢復條件。恢復不代表原問題消失；需先以原案例及相近案例覆核，再按較小範圍重新觀察。任何門檻都要能回答何時停、誰來停、停後查什麼。
結束後如何決定續行
第四週結束時先核對資料是否完整：原定樣本有多少、實際抽查多少、哪些被排除、失敗回報是否結案或已分派。把結果與第一週的現行流程基準並列，同時說明兩邊是否在相同意圖、時段和難度下比較。若範圍中途改過、抽樣不足，或有一類問題幾乎沒有樣本，就明確列為判斷限制，不用單一平均值替整體下結論。決策摘要應附上支持續行的證據、尚未解決的風險與下次檢視日期，讓沒有參加試行的人也能理解理由。
續行可以是維持原範圍觀察、只擴一個相鄰意圖，或先修正資料再重跑；一次只改一個主要條件，才看得出結果變化和哪項調整有關。若品質可接受但人工接手量偏高，先調整交接流程並維持範圍，不要同時增加入口和意圖。若高風險錯誤未解決、抽查能力不足，或現場負荷超過事前約定，就停止或縮小，將原因和重啟條件寫清楚。延長觀察也要有期限、負責人與要補足的證據，不能把試行無限期延長當成決策。
最後讓客服、流程負責人及能處理資料來源的人一起看同一份摘要，逐項確認續行理由、停止條件與下一輪只改哪一件事。把決策寫成可檢查的紀錄：選擇、依據、限制、負責人和下一個檢視點；若不同角色對風險判斷不一致，先記下分歧並維持較保守的範圍。實際執行時，先選一條符合條件的流程，整理近期對話並約定第一週抽樣方式，再把流程卡交給參與同仁確認。若要查看 ReplyBot 的產品資訊，可前往 https://replybot.cc/。