線上集群中，如何處理出現(xiàn)大量錯(cuò)誤日志的Pod

在線上集群中，有時(shí)候會遇到業(yè)務(wù)正常運(yùn)行，但突然有一個(gè)Pod出現(xiàn)大量錯(cuò)誤日志的情況，而其他Pod則正常運(yùn)行。這種情況該如何處理呢？

直接刪除Pod可能會導(dǎo)致保留現(xiàn)場困難，并影響對問題根本原因的判斷。

讓業(yè)務(wù)方忍耐一會，先排查問題是否是Pod導(dǎo)致的嗎？這種方法可能會引起不滿。

最佳的解決方案是停止該P(yáng)od接收流量，并保留該P(yáng)od。

思路是：

1. 停止接收流量

通過修改Pod的標(biāo)簽來實(shí)現(xiàn)停止接收流量的動(dòng)作。本質(zhì)上是通過將Pod從endpoint中移除，這樣無論是服務(wù)化還是http都會將當(dāng)前這個(gè)節(jié)點(diǎn)移除，不再轉(zhuǎn)發(fā)流量。當(dāng)然，前提是服務(wù)化和http的節(jié)點(diǎn)發(fā)現(xiàn)是基于k8s的endpoint來實(shí)現(xiàn)的（理論上都是這么干的，不排除有黑科技）。
首先要主動(dòng)調(diào)用服務(wù)下線的方法，理論上這個(gè)調(diào)用應(yīng)該會配在Pod的prestop鉤子中，這樣在Pod被刪除時(shí)，會先調(diào)用這個(gè)方法，然后再刪除Pod。

preStop:
    exec:
      command:
      - /bin/sh
      - -c
      - /bin/stop.sh

1. 將Pod從Workload中移除

調(diào)用下線完畢后，再修改Pod的標(biāo)簽，使Pod脫離Workload的控制，變成孤兒Pod，要注意修改Pod標(biāo)簽也要讓service的selector選擇不到這個(gè)Pod，這樣Pod也就從endpoint中移除，服務(wù)發(fā)現(xiàn)也就感知不到這個(gè)節(jié)點(diǎn)了。

1. 如果Pod是消費(fèi)型業(yè)務(wù)，比如nsq worker，不具備主動(dòng)發(fā)起下線的方法，該怎么辦？

針對這種情況，可以直接將Pod的網(wǎng)絡(luò)切斷，這樣Pod就無法接收流量了。切斷方式也很簡單，直接在Pod上添加一個(gè)iptables規(guī)則，將流量全部丟棄即可。

/sbin/iptables -A INPUT -s {node_ip}/32 -j ACCEPT &&   // 允許節(jié)點(diǎn)訪問，避免kubelet liveness檢查失敗
/sbin/iptables -A OUTPUT -d {node_ip}/32 -j ACCEPT &&
/sbin/iptables -A OUTPUT -s localhost -d localhost -j ACCEPT &&
/sbin/iptables -A INPUT -s localhost -d localhost -j ACCEPT &&
/sbin/iptables -A INPUT -p tcp --tcp-flags RST RST -j ACCEPT &&
/sbin/iptables -A OUTPUT -p tcp --tcp-flags RST RST -j ACCEPT &&
/sbin/iptables -A INPUT -p tcp -j REJECT --reject-with tcp-reset &&
/sbin/iptables -A OUTPUT -p tcp -j REJECT --reject-with tcp-reset"""

• 王者榮耀韓信技巧攻略指南（掌握關(guān)鍵裝備，成為無敵韓信！）
• 《明日之后》秋日森林寶箱位置探索攻略技巧大全（揭秘寶箱位置，輕松獲得珍貴道具）
• 姜子牙打野技能加點(diǎn)攻略與技巧大全（王者榮耀姜子牙打野出裝及技能加點(diǎn)詳解）
• 《一起來捉妖春節(jié)活動(dòng)技巧攻略指南》（尾火虎打法技巧詳解，助你順利抓妖）
• 《地下城堡2》怪盜人物劇情簡介：（潛行者怪盜的秘密行動(dòng)）