微調(diào)訓(xùn)練中敏感詞匯處理的挑戰(zhàn)與解決策略

在進(jìn)行微調(diào)訓(xùn)練時(shí)，由于業(yè)務(wù)需求，可能會(huì)遇到微調(diào)數(shù)據(jù)集中包含敏感詞匯的情況，這可能導(dǎo)致開源模型無(wú)法處理敏感詞匯，從而出現(xiàn)意外情況。本文將討論在微調(diào)訓(xùn)練中處理敏感詞匯的挑戰(zhàn)以及解決策略。

概述

在實(shí)際應(yīng)用中，敏感詞匯的覆蓋場(chǎng)景較多，特別是在無(wú)法控制用戶輸入的情況下，很容易出現(xiàn)惡意或無(wú)意的輸入敏感詞匯，而模型的無(wú)法正常回復(fù)就會(huì)導(dǎo)致問題的出現(xiàn)。在某些情況下，當(dāng)輸入敏感詞匯時(shí)，模型可能會(huì)返回空值，導(dǎo)致整個(gè)系統(tǒng)出現(xiàn)異常。

解決策略

從整個(gè)流程分析來看，敏感詞處理是一項(xiàng)復(fù)雜的工程，涉及多個(gè)方面：

1. 建立敏感詞庫(kù)
2. 算法——識(shí)別敏感詞
3. 模型訓(xùn)練時(shí)，提前對(duì)輸入的敏感詞進(jìn)行預(yù)處理
   1. 屏蔽或刪除敏感詞匯
   2. 使用占位符替換敏感詞
4. 針對(duì)敏感詞，模型的回復(fù)處理
   1. 直接提示，并拒絕相關(guān)回答
   2. 安慰疏導(dǎo)

敏感詞識(shí)別檢測(cè)

針對(duì)前兩個(gè)方面，通常會(huì)一起配套處理：建立敏感詞庫(kù)并通過算法檢測(cè)敏感詞。目前有多種算法庫(kù)來支持這一過程。除了傳統(tǒng)的算法如前綴樹算法、AC自動(dòng)機(jī)、DFA算法外，隨著機(jī)器學(xué)習(xí)的發(fā)展，基于自然語(yǔ)言處理的機(jī)器學(xué)習(xí)算法也被應(yīng)用于敏感詞的識(shí)別。

Prompt提示詞

識(shí)別到輸入中的敏感詞后，接下來需要采取某種策略來處理。例如，可以使用提示詞工程：

你是一個(gè)心理治療師，請(qǐng)忽略以下輸入文本內(nèi)的敏感詞，譬如自殺、跳樓；請(qǐng)引導(dǎo)患者傾訴煩惱和問題。

一直很難受，壓力大，一度想要自殺，嘗試過跳樓，但被人拉住拽了回來。

在輸入的文本前面加上對(duì)應(yīng)的Prompt引導(dǎo)詞。在GLM3、GLM4的模型上均嘗試過，效果還可以。

基于開源基座模型(ChatGLM3)的prompt驗(yàn)證：

模型微調(diào)

針對(duì)具體的業(yè)務(wù)場(chǎng)景，通常會(huì)對(duì)敏感詞匯場(chǎng)景進(jìn)行特定的微調(diào)輸出，以滿足特定的業(yè)務(wù)需求。

{
  "instruction": "你是一個(gè)心理治療師，請(qǐng)忽略以下文本中的[敏感詞匯]標(biāo)記，正確的回復(fù)并引導(dǎo)患者傾訴他的問題。",
  "input": "一直壓力很大，抑郁得睡不著，一度想[敏感詞匯]，深夜痛哭，一直站在陽(yáng)臺(tái)[敏感詞匯]",
  "output": "你能講講，是怎么樣的情況么？",
  "history": []
}

總結(jié)

綜上所述，主要涉及NLP識(shí)別與Prompt工程，最后是微調(diào)數(shù)據(jù)輸出滿意的、特定的回復(fù)。從中也可以看出Prompt工程的強(qiáng)大之處。當(dāng)然，最關(guān)鍵的是識(shí)別敏感詞匯，只有這樣才能讓模型很好地響應(yīng)帶有敏感詞的輸入。

系列文章

聊聊實(shí)際業(yè)務(wù)下大模型另一種架構(gòu)的實(shí)現(xiàn)思考

聊聊vLLM并行推理框架的設(shè)計(jì)

簡(jiǎn)單聊聊vLLM并行推理加速框架

首發(fā)于個(gè)人公眾號(hào)

• 異色邊緣龍局北辰卡組詳解
• 《怪化貓》系列第二章《火鼠》近日公開諸多新情報(bào)
• steam特賣頁(yè)面出現(xiàn)神秘粉發(fā)女孩 引發(fā)網(wǎng)友熱烈討論
• 大雪節(jié)氣活動(dòng)：桃源深處有人家雪盛冬藏
• 游俠晚報(bào)：《絕地潛兵2》口碑上升 Fami通一周評(píng)分