并行訓(xùn)練-流水線

并行訓(xùn)練主要有三種策略：

1. 數(shù)據(jù)并行訓(xùn)練加速比最高，但要求每個(gè)設(shè)備上都備份一份模型，顯存占用比較高，但缺點(diǎn)是通信量大。
2. 張量并行，通信量比較高，適合在機(jī)器內(nèi)做模型并行。
3. 流水線并行，訓(xùn)練設(shè)備容易出現(xiàn)空閑狀態(tài)，加速效率沒有DP高；但能減少通信邊界支持更多的層數(shù)，適合在機(jī)器間使用。

流水線并行

Micro-batch(Gpipe)將網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行縱向拆分, 每張卡訓(xùn)練其中的幾層. 如果是按照純粹的mini-batch訓(xùn)練, 每層之間是純串行的. 后面的卡會(huì)始終等待前面的卡. 所以引入了micro-batch的概念. 把mini-batch進(jìn)行更細(xì)粒度的拆分, 這樣在完成batch0的fp之后, 卡0可以進(jìn)行batch1的fp, 卡1就能開始batch0的fp. 從而提高并行度.

存在的問題:

1. 存在bubble_time: 每張卡的空閑時(shí)間 = (stage_num - 1) * (fp_time + bp_time)

實(shí)際應(yīng)用中 當(dāng)mico-batch個(gè)數(shù)大于stageNum的4倍時(shí), 可以忽略bubble_time

1. 顯存浪費(fèi): 當(dāng)進(jìn)行stage3的micro-batch 3時(shí), 還需要保存前面所有mico-batch的fp中間結(jié)果用于bp.
2. 在每個(gè)mini-batch之間無法并行. 因?yàn)橄乱粋�(gè)minibatch需要等當(dāng)前所有的micro-batch更新完參數(shù)

• 《夢(mèng)幻新誅仙》裝備獲取方式大全最新（輕松掌握各種裝備獲取技巧，為你的角色提升實(shí)力）
• 《萬靈啟源SSR抽獎(jiǎng)概率揭曉》SSR抽獎(jiǎng)概率究竟是多少呢？（以游戲?yàn)橹鳎�讓你了解抽�?jiǎng)背后的真相）
• 《龍之谷手游》新手升級(jí)攻略技巧大全最新
• 《最囧大腦》32關(guān)通關(guān)攻略技巧指南（打破困境，激活大腦，輕松通關(guān)）
• 王者榮耀哪個(gè)英雄克制司馬懿？英雄克制攻略技巧！