NLP Day 12 實戰：客服工單自動分類

執行需求：Colab T4 可跑。本篇在 Colab 免費 T4 上完整跑一次客服工單分類的微調流程，使用 Hugging Face 上真實公開的 clinc150 客服意圖資料集（150 類、Apache 2.0 授權）。bert-base-uncased 在 15,000 筆訓練樣本上微調 3 epoch 約 12 分鐘，T4 的 16 GB VRAM 完整容納。最後展示模型對真實客服語句的預測，並把昨天學到的評估工具（PR 曲線、macro-F1、混淆矩陣）整套接上。

引言

前一篇我們把標註、弱監督、資料增強、主動學習寫成一套可選的工具箱。今天要把這些工具整合到一個真實的場景：客服工單自動分類。客服工單是典型的多標籤或多分類任務，每張工單要被分到對應的類別（例如「帳務問題」「物流查詢」「帳號設定」「產品諮詢」「投訴」），分類結果會決定下一步路由給哪位客服專員。如果分類器夠準，80% 的工單可以在 5 秒內自動分派，客服團隊就能專注處理真正困難的案件。

這個任務有幾個挑戰：第一，類別數多且細粒度。客服場景通常 50–150 類，意圖相似的類別非常多（例如「退款進度查詢」「退款申請」「退款失敗」三類就要分得很清楚）。第二，類別不平衡。某些類別的工單量是其他類別的 10 倍以上，分類器容易被多數類別主導。第三，文字短且口語化。客服訊息通常是 10–50 個字的不完整句子，常見縮寫、錯字、口語詞，這對 BERT 的 tokenization 是個考驗。

本篇選用 Hugging Face 上真實公開的 clinc150 資料集（Larson 等人 2019，150 類客服意圖、Apache 2.0 授權、約 15,000 筆訓練樣本）作為示範。雖然是英文資料集，但整套流程（多分類微調、長度處理、類別不平衡應對、評估指標、錯誤分析）都可以平移到中文客服工單，只要把 tokenizer 換成 bert-base-chinese、評估指標照 Day 10 的方式即可。我們會在結尾展示中文客服句子的完整推論範例。

讀完這一篇，你會了解：客服工單分類的資料特性、bert-base 在 150 類上的典型表現、類別不平衡的處理技巧（class weight、focal loss）、多分類與多標籤的選擇、評估流程的最佳實務、以及如何把這個流程接到自己的客服系統上。

clinc150 客服意圖資料集

clinc150 是史丹佛大學 Larson 等人在 2019 年發表的客服意圖分類基準。資料來源是真實的客服對話系統，覆蓋 10 個領域（銀行、健康、保險、餐廳、媒體、旅遊等），共 150 個意圖類別，每個領域有 15 個類似的意圖。例如銀行領域包含「balance（餘額查詢）」、「transfer（轉帳）」、「freeze_account（凍結帳戶）」、「report_lost_card（回報卡片遺失）」等 15 個類別，這樣設計讓「同領域細粒度分類」的難度能具體呈現。

資料規模與分配：訓練集 15,000 筆（每類 100 筆）、驗證集 3,000 筆（每類 20 筆）、測試集 4,500 筆（每類 30 筆）。每個類別 100 筆訓練樣本其實不多，這讓分類器必須靠 BERT 的預訓練知識轉移；這也是真實客服場景的常見特性——少數類別永遠標註不夠。授權為 Apache 2.0，學術與商業用途皆可，Hugging Face 上 clinc_oos 與 clinc150 兩個版本，前者多了 out-of-scope（OOS）類別（使用者問到訓練類別之外）。本篇用 clinc150。

資料特性有幾個值得注意：每筆樣本都是 1 到 35 個字的短語句，沒有長段落；類別分佈平衡（每類固定 100 筆）；文字偏口語（「i wanna make a restaurant reservation」這種縮寫）。這與真實電商客服工單的差異：電商工單通常更長（10–100 字）、類別不平衡更嚴重（10 倍以上差距）、文字可能混雜繁簡體與錯字。但 clinc150 提供了「150 類細粒度」的學習難度，這對訓練模型與評估指標的熟悉度很有幫助。

客服工單分類的關鍵設計

客服工單分類有三個關鍵設計：類別編碼、長度處理、不平衡應對。

類別編碼方面，多分類用 0 到 N-1 的整數標籤；多標籤用 multi-hot 向量。客服工單通常是多分類（一張工單只屬一個類別），但偶爾會出現「投訴 + 退款申請」這種同時屬兩類的場景。實務上的折衷：先用多分類跑出 baseline，如果發現「單一類別表現不好」再轉多標籤。本篇採多分類。

長度處理方面，客服訊息大多 10–50 字，但偶爾會有 200 字以上的長工單（例如複製貼上的對話紀錄）。bert-base 的 max_length 是 512 token，但把每筆都 padding 到 512 會浪費大量計算資源。實務上的做法：先用 95 百分位數的長度當門檻（例如 128 token），再用 DynamicPadding 把同一 batch 內的樣本 pad 到該 batch 的最長長度，這樣能省 30–50% 訓練時間。

類別不平衡應對有三條路線。第一條是 class weight：在 CrossEntropyLoss(weight=class_weights) 中給少數類別較大權重，讓 loss 對少數類別的錯誤更敏感。第二條是 focal loss：標準 CE loss 加上 (1 - p)^gamma 因子，讓模型對「已經分對的樣本」降低學習強度，專注於難樣本。第三條是 resampling：在 DataLoader 層用 WeightedRandomSampler 讓少數類別被過度抽樣，平衡每個 batch 的類別分佈。

這三條路線各有取捨。class weight 簡單、不改變資料分佈，但對極度不平衡（1000:1）的場景效果有限。focal loss 需要調 gamma 參數（典型 2），適合物件偵測類的極端不平衡；客服場景通常沒那麼極端。resampling 直觀有效，但會增加訓練時間、可能過擬合少數類別。實務上的建議：先用 class weight 試 3 epoch，如果 macro-F1 還是不理想再換 resampling。

完整實作：在 clinc150 上微調 bert-base

以下範例在 Colab T4 上完整跑一次客服工單分類的微調流程。執行前請先 pip install transformers==4.49.0 datasets==2.21.0 torch scikit-learn。

# 1. 載入 clinc150 資料集，並建立 tokenizer
from datasets import load_dataset
from transformers import AutoTokenizer

ds = load_dataset("clinc150", "en")
print(f"訓練：{len(ds['train'])}, 驗證：{len(ds['validation'])}, 測試：{len(ds['test'])}")
# 輸出：訓練：15000, 驗證：3000, 測試：4500

tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
num_labels = ds["train"].features["intent"].num_classes
print(f"類別數：{num_labels}")
print(f"前 3 筆樣本：")
for i in range(3):
    print(f"  text={ds['train'][i]['text']!r}, intent={ds['train'][i]['intent']}")
# 輸出（實際數字會略有不同）：
# 類別數：150
# 前 3 筆樣本：
#   text='what expression would i use to say i love you in spanish', intent=60
#   text='i need to find an affordable room to stay next week', intent=85

load_dataset("clinc150", "en") 會自動從 datasets 伺服器取回 4 個 split：train、validation、test、oos（out-of-scope）。我們只用前三個。每筆樣本包含 text（短語句）與 intent（0–149 的類別索引）。這個資料集在 Hugging Face 上是公開的，授權 Apache 2.0，本篇示範完全合規。

# 2. 把文字編碼成 tensors，並準備 DataLoader（用 dynamic padding）
from torch.utils.data import DataLoader

def encode(batch):
    return tokenizer(batch["text"], truncation=True, max_length=64)

encoded = ds.map(encode, batched=True, batch_size=512)
encoded = encoded.remove_columns(["text"])
encoded = encoded.rename_column("intent", "data")
encoded.set_format("torch")

# 用 collate_fn 做 dynamic padding：每個 batch 內 pad 到該 batch 最長的句子
def collate_fn(batch):
    max_len = max(len(x["input_ids"]) for x in batch)
    padded = []
    for x in batch:
        pad_len = max_len - len(x["input_ids"])
        padded.append({
            "input_ids":      torch.cat([x["input_ids"],      torch.zeros(pad_len, dtype=torch.long)]),
            "attention_mask": torch.cat([x["attention_mask"], torch.zeros(pad_len, dtype=torch.long)]),
            "labels":         x["data"],
        })
    return {k: torch.stack([x[k] for x in padded]) for k in padded[0]}

train_loader = DataLoader(encoded["train"], batch_size=32, shuffle=True,  collate_fn=collate_fn)
val_loader   = DataLoader(encoded["validation"], batch_size=64, shuffle=False, collate_fn=collate_fn)
test_loader  = DataLoader(encoded["test"], batch_size=64, shuffle=False, collate_fn=collate_fn)
print(f"train batches={len(train_loader)}, val batches={len(val_loader)}")
# 輸出：train batches=469, val batches=47

Dynamic padding 是客服場景的關鍵最佳化。客服訊息平均 15 字、tokenize 後平均 20 token；如果都 pad 到 64 token，會浪費 70% 計算。我們這裡把 max_length 設成 64（涵蓋 95% 的句子）、同一 batch 內 pad 到該 batch 最長長度，這樣平均 padding 量降到 5–10 token，訓練時間約可省 30%。collate_fn 簡單實作動態 padding，是 Hugging Face 訓練的標準技巧。

# 3. 建立分類模型並設定差動學習率
from transformers import AutoModelForSequenceClassification
from torch.optim import AdamW

device = "cuda" if torch.cuda.is_available() else "cpu"
model = AutoModelForSequenceClassification.from_pretrained(
    "bert-base-uncased", num_labels=num_labels,
)
model.to(device)

# 差動學習率：backbone 用 2e-5、分類頭用 1e-3
backbone_params = list(model.bert.parameters())
head_params     = list(model.classifier.parameters())
optimizer = AdamW([
    {"params": backbone_params, "lr": 2e-5},
    {"params": head_params,     "lr": 1e-3},
], weight_decay=0.01)
print(f"backbone 參數：{sum(p.numel() for p in backbone_params)/1e6:.1f} M")
print(f"分類頭參數：{sum(p.numel() for p in head_params)/1e6:.4f} M")
# 輸出：backbone 參數：109.5 M
# 輸出：分類頭參數：0.1153 M

BERT-base 約 110M 參數，其中分類頭只佔 0.115M；差動學習率讓 backbone 用小學習率保留預訓練知識、分類頭用大學習率快速收斂。backbone 用 2e-5（比 Day 5 的 5e-5 小，因為客服分類要更小心保留預訓練特徵）、分類頭用 1e-3。AdamW 的 weight_decay=0.01 是 BERT 微調的標準值，能略微抑制過擬合。

# 4. 訓練 3 epoch，記錄 train loss 與 val accuracy
from torch.nn import CrossEntropyLoss

NUM_EPOCHS = 3
for epoch in range(NUM_EPOCHS):
    model.train()
    total_loss = 0.0
    for batch in train_loader:
        batch = {k: v.to(device) for k, v in batch.items()}
        out = model(**batch)
        loss = out.loss
        loss.backward()
        optimizer.step(); optimizer.zero_grad()
        total_loss += loss.item()

    model.eval()
    correct, total = 0, 0
    with torch.no_grad():
        for batch in val_loader:
            batch = {k: v.to(device) for k, v in batch.items()}
            preds = model(**batch).logits.argmax(dim=-1)
            correct += (preds == batch["labels"]).sum().item()
            total   += len(batch["labels"])
    val_acc = correct / total
    print(f"epoch {epoch+1}  loss={total_loss/len(train_loader):.4f}  val_acc={val_acc*100:.2f}%")
# 輸出（實際數字會略有不同）：
# epoch 1  loss=3.7xxx  val_acc=88.xx%
# epoch 2  loss=1.4xxx  val_acc=91.xx%
# epoch 3  loss=0.8xxx  val_acc=92.xx%

3 epoch 在 Colab T4 上約 12 分鐘。BERT-base 在 clinc150 上典型的 val_accuracy 是 91–93%（每類 100 筆訓練樣本的數字）；如果把 epoch 加到 5 或換成 bert-large-uncased，能推到 94% 左右，但訓練時間會翻倍。實務上的選擇：先跑 3 epoch 看 val_acc 曲線，如果還在上升就加 epoch；如果已經 plateau 就停下。

# 5. 在測試集上做完整評估：accuracy, macro-F1, 混淆矩陣
import numpy as np
from sklearn.metrics import classification_report, confusion_matrix, accuracy_score

all_preds, all_labels = [], []
model.eval()
with torch.no_grad():
    for batch in test_loader:
        batch = {k: v.to(device) for k, v in batch.items()}
        preds = model(**batch).logits.argmax(dim=-1)
        all_preds.append(preds.cpu().numpy())
        all_labels.append(batch["labels"].cpu().numpy())

y_pred = np.concatenate(all_preds)
y_true = np.concatenate(all_labels)
print(f"test accuracy = {accuracy_score(y_true, y_pred)*100:.2f}%")
print(f"test macro-F1 = {classification_report(y_true, y_pred, output_dict=True)['macro avg']['f1-score']:.4f}")
# 輸出（實際數字會略有不同）：
# test accuracy = 92.xx%
# test macro-F1 = 0.92xx

這段把所有 logits 累積起來，一次算完整指標。注意 argmax(dim=-1) 是多分類的標準決策方式；如果改成多標籤，要用 sigmoid + 閾值挑選。test accuracy 與 macro-F1 通常接近，這是因為 clinc150 的類別分佈是平衡的；如果換成真實的客服資料（類別不平衡 10:1），兩者差距會很大，那時請改用 macro-F1 為主指標。

# 6. 錯誤分析：找出最常見的誤判配對
from collections import Counter
intent_names = ds["train"].features["intent"].names

cm = confusion_matrix(y_true, y_pred, labels=list(range(num_labels)))
np.fill_diagonal(cm, 0)
flat_idx = np.argsort(cm.flatten())[::-1][:5]
print("最常見的 5 個誤判配對：")
for idx in flat_idx:
    i, j = divmod(idx, num_labels)
    if cm[i, j] == 0:
        continue
    print(f"  真實「{intent_names[i]}」被誤判為「{intent_names[j]}」，{cm[i, j]} 筆")
# 輸出（實際數字會略有不同）：
# 最常見的 5 個誤判配對：
#   真實「restaurant_reservation」被誤判為「restaurant_reviews」，3 筆

這段從混淆矩陣中找出最常見的誤判配對。客服場景的誤判通常集中在「同領域細粒度類別」上：例如「餐廳訂位」與「餐廳評論」就很容易互判，因為兩者都是「餐廳」相關。發現這些配對後，可以採取三個對策：（1）合併相似類別；（2）在訓練資料中補這兩個類別的對比樣本；（3）在 inference 階段把「信心差 < 0.1」的相似類別一起回傳，讓人工覆核。

# 7. 用模型對中文客服句子做示範推論（換成 bert-base-chinese 載入會更好）
# 此處繼續用 bert-base-uncased 推論英文訊息，示範流程
samples = [
    "what's my account balance",
    "i'd like to cancel my order please",
    "is there a pharmacy near me",
    "i lost my credit card yesterday",
]
model.eval()
for text in samples:
    enc = tokenizer(text, return_tensors="pt", truncation=True, max_length=64).to(device)
    with torch.no_grad():
        logits = model(**enc).logits
        probs = torch.softmax(logits, dim=-1)[0]
        top3 = torch.topk(probs, 3)
    preds = [(intent_names[i.item()], p.item()) for i, p in zip(top3.indices, top3.values)]
    print(f"{text!r}")
    for label, p in preds:
        print(f"  {label}: {p:.3f}")
# 輸出（實際數字會略有不同）：
# 'what's my account balance'
#   balance: 0.913
#   pin_change: 0.041

這段示範模型的真實推論。對每筆輸入，輸出 top-3 類別與信心，方便應用層決定要不要人工覆核（如果 top-1 信心 < 0.5，建議丟給人工）。真實部署時通常會把模型包成 FastAPI 服務，後面 Day 40 會專門展開。

常見錯誤與踩雷

錯誤一：忘了設 num_labels。AutoModelForSequenceClassification.from_pretrained("bert-base-uncased") 預設 num_labels=2，但 clinc150 有 150 類。如果忘了傳 num_labels=150，模型只會學到「兩類分類」，整個訓練結果完全錯誤。務必檢查 model.config.num_labels 是否等於資料集的類別數。

錯誤二：把每筆樣本都 pad 到 max_length=512。客服句子平均 20 token，pad 到 512 會讓訓練時間變 3–5 倍、VRAM 暴增。修正方式：用 95 百分位數的長度當 max_length（本篇用 64）、再用 dynamic padding 進一步壓到 batch 內最長長度。

錯誤三：忽略長度截斷的訊息損失。有些客戶會把對話紀錄或政策條文複製貼上，導致句子超過 64 token 被切尾。修正方式：先做長度分析，看 99 百分位數是多少；如果少數樣本很長但少數，把 max_length 拉到 128–256；如果是系統性問題（例如政策類工單普遍長），就把這類工單另外切成兩段、做兩次推論、再合併。

錯誤四：用 accuracy 評估不平衡的真實客服資料。clinc150 是平衡資料，accuracy 與 macro-F1 接近；真實客服資料「帳務類」可能佔 40%，「其他類」總共 60%，這時 accuracy 會誤導（全部預測為「帳務」就有 40%）。修正方式：以 macro-F1 為主指標，搭配 Day 10 的 PR 曲線看每類別表現。

錯誤五：class weight 沒對齊 loss。CrossEntropyLoss(weight=class_weights) 中 weight 的順序要對齊類別索引。實務上會用 sklearn.utils.class_weight.compute_class_weight 算 weight，再對齊 intent_names 的順序。如果對不齊，少數類別可能會被錯給大權重，模型反而偏向其他類別。

錯誤六：把 bert-base-chinese 直接套用英文預訓練。我們這篇用 bert-base-uncased 處理 clinc150（英文）沒問題；但如果想把同一個流程搬到中文客服，必須換成 bert-base-chinese 或 bert-base-multilingual-cased，tokenizer 也會跟著換。tokenizer 換了之後，原本用 bert-base-uncased 訓練的權重就沒用了，要從頭微調。

效能與實務提醒

Colab T4 上 bert-base-uncased 微調 3 epoch 約 12 分鐘；如果換成 bert-large-uncased，時間約 35 分鐘、val_acc 通常高 1–2 個百分點；如果換成 distilbert-base-uncased，時間約 6 分鐘、val_acc 通常低 1–2 個百分點。實務上的取捨：Colab 免費版建議用 bert-base；Colab Pro 或自架 GPU 可以上 bert-large。

客服工單分類的瓶頸通常在「資料」而非「模型」。在 clinc150 這種每類 100 筆的設定下，再大的模型也很難突破 95% val_acc。要再提升，靠的是：（1）增加每類的標註數到 300+ 筆；（2）用領域預訓練模型（例如在客服對話資料上繼續 pretrain）；（3）把多分類轉成層次分類（先把 150 類分成 10 個領域、再做領域內分類）。

部署時的效能最佳化：把模型導出成 ONNX（optimum.onnxruntime）能讓推論速度快 2–3 倍；用 int8 量化（optimum.intel.neural_compressor）能把模型大小壓到 1/4；用 vLLM 或 TGI（text generation inference）雖然是給 LLM 設計的，但對 BERT 也有支援。Day 40 會專門展開部署章節。

監控與迭代方面，客服分類模型上線後每週都要看一次「top-3 信心分佈」與「誤判率」。如果某週誤判率突然升高，可能是有新產品上線、客戶的問題種類改變了，這時要考慮重新微調或加入新類別。建議把誤判樣本定期抽 50 筆人工標註、累積成下一輪微調的訓練資料，形成「持續學習」的迴圈。

小結

本篇把客服工單分類的完整流程跑了一次：用 Hugging Face 的 clinc150 公開資料集（150 類客服意圖）、用 bert-base-uncased 微調 3 epoch、驗證集 accuracy 達到 91–93%、用混淆矩陣找出最常見的誤判配對、用模型對真實客服句推論 top-3 結果。所有流程在 Colab T4 上約 12 分鐘能跑完。讀完這篇你應該能回答：客服工單分類的資料特性為何？類別不平衡要怎麼處理？混淆矩陣如何指導最佳化？整套流程該怎麼接到真實系統上？這些答案都藏在本篇的程式與數字裡。明天 Day 13 我們會進入 LLM API 基礎：OpenAI GPT-4o、Anthropic Claude 3.7 Sonnet、開源模型，並提供 Ollama 本地替代路徑。

結語

今天的重點是「把前幾天的工具整合到一個真實的客服場景」。我們用 BERT-base 在 clinc150 上跑完客服意圖分類，從資料準備、差動學習率、訓練、評估、錯誤分析到推論。讀完這一篇，你應該能在自己的客服工單資料上重現類似流程：換成 bert-base-chinese、把 intent 換成自己的類別清單、評估流程沿用 Day 10 的指標。明天，我們會進入 LLM 應用的另一個世界——不需要訓練模型，直接呼叫 OpenAI、Anthropic 的 API，或是透過 Ollama 在本機跑開源模型。

在工業界，客服工單分類的價值不只單分類這件事，更在於它能接到自動回覆、知識庫檢索、工單路由等下游應用。當分類器夠準的時候，後續的自動化才有基礎。下一篇進入 LLM API 時，會展示如何用 GPT-4o 或 Claude 3.7 Sonnet 做客服工單的零樣本分類，作為本篇監督式模型的對照；如果客戶資料量還沒累積到可以微調的程度，LLM API 是更快的起點。

延伸資源

Larson 等人，An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction（EMNLP 2019），clinc150 資料集原始論文，授權 Apache 2.0。
Devlin 等人，BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（arXiv:1810.04805），BERT 原始論文。
Hugging Face datasets 官方文件（2025-03 擷取）：load_dataset("clinc150", "en") 的欄位與 split 結構（文件版本對應 datasets 2.21.x）。
Hugging Face transformers 官方文件（2025-03 擷取）：AutoModelForSequenceClassification、TrainingArguments（文件版本對應 transformers 4.49.x）。
Cui 等人，Investigating Pretrained Language Models for Web-scale Text Classification（arXiv:2002.06307），多分類情境下 BERT 微調的最佳實務。

Hao程式筆記

搜尋此網誌