在數(shù)據(jù)中心領(lǐng)域的交換機以及一些高性能計算設(shè)備上,其對外高速連接的端口密度非常高。出于結(jié)構(gòu)設(shè)計、散熱以及可維護性的要求,一般會把光模塊的插槽集中放在前面板上,這樣電交換或者計算芯片到前面板光模塊之間一般會有約20cm~40cm的電走線長度,這些走線的密度非常高,傳輸?shù)臄?shù)據(jù)速率也很高。
為了克服傳輸通道對于高速電信號的損耗,需要采用昂貴的低損耗的PCB板材(如M6/M7等板材),并且在交換芯片和光模塊里都有復(fù)雜的針對電信號的預(yù)加重、均衡、時鐘恢復(fù)等電路,這些都增加了系統(tǒng)的成本、功耗和設(shè)計難度。
隨著電接口速率的提高,為了減小交換芯片到光模塊之間的通道損耗以及系統(tǒng)的功耗、體積,目前采用的主要技術(shù)方向有3種:板內(nèi)同軸走線、板載光模塊(COBO)以及光電混合封裝(Co-pakage)。
板內(nèi)同軸走線是指用低損耗的同軸走線代替PCB實現(xiàn)主機芯片到光模塊之間的板內(nèi)電連接。比如在12.5GHz的頻點,如果走線長度為30cm的話,普通FR4板材的插入損耗在20dB左右,好的板材如M6可以做到10dB左右,而雙同軸線(Twinax)可以做到3dB左右。板內(nèi)同軸走線的方法已經(jīng)在市面上一些400G的交換機設(shè)備上開始使用,這種方法對于最終用戶的使用和維護習(xí)慣沒有改變,因此比較容易普及,但其成本比傳統(tǒng)PCB高不少,可靠性也稍低一些。
另一種方式是把光器件直接按裝在PCB板內(nèi)而不是前面板插槽上。其相關(guān)的標(biāo)準(zhǔn)化組織主要是COBO(Consortium for On-Board Optics),該組織于2015年由Microsoft、Cisco、Broadcom、Arista等公司發(fā)起成立,并與2018年發(fā)布了板上封裝光器件的相關(guān)硬件規(guī)范。在PCB板內(nèi)直接安裝光器件有幾個優(yōu)點:由于光器件更靠近交換芯片,PCB板走線損耗小,因此可以支持更高速率的電信號連接;電芯片不需要特別復(fù)雜的預(yù)加重和均衡,有CDR電路重新對信號做下整形即可,因此系統(tǒng)整體功耗和成本可以降低;由于電信號在PCB板內(nèi)轉(zhuǎn)換為光信號,前面板不再需要放置傳統(tǒng)意義上的光模塊,可以通過帶狀光纖直接引到前面板,因此前面板的密度可以做得很高。但是,采用COBO的方式也有一定的缺點,除了產(chǎn)業(yè)鏈還不太成熟以外,日常維護的難度也要大一些。比如傳統(tǒng)上光模塊是可以在前面板直接插拔的,一旦失效可以快速更換,COBO的模塊雖然也可以插拔,但是需要把整個板卡取出后進行更換,對于正常業(yè)務(wù)的影響比較大。下圖是典型板上光模塊的應(yīng)用場景。
除了COBO技術(shù)以外,基于硅光技術(shù)的光電聯(lián)合封裝(Co-package)技術(shù)也是解決未來更大規(guī)模光電互聯(lián)的難題的熱點技術(shù)。未來隨著光模塊速率的進一步提升,單路電口的速率會提高到112Gbps甚至224Gbps,光電混合封裝(Co-package)即把光引擎(實現(xiàn)光收發(fā)功能的模塊)直接集成在數(shù)字芯片如交換機或計算芯片的基板上,這樣可以實現(xiàn)數(shù)字芯片到光引擎之間的電走線最短。圖11.38是由Facebook和Microsoft公司與2021年發(fā)布的一款3.2T容量光引擎的使用場景以及技術(shù)規(guī)范(參考資料:http://www.copackagedoptics.com/),可以支持51.2T交換容量交換機芯片的光電混合封裝。
這樣,51.2T容量的交換芯片可以和16個這樣的光引擎在芯片基板上封裝在一起,每個光引擎上提供8個400G的光接口。在其技術(shù)規(guī)范中,光引擎和交換機芯片間可以采用CEI-112G-XSR的接口,支持在封裝基板上最長5cm左右的走線;光引擎直接輸出光信號口,可以通過光纖陣列(Fiber Array)轉(zhuǎn)換成MPO接口的光纖對外連接;光引擎的激光源可以內(nèi)置也可以外置,如果外置的話需要通過保偏光纖(PMF)連接外部光源,如果內(nèi)置的話需要有備用的光源以提高系統(tǒng)的可靠性。目前,騰訊已經(jīng)有基于25.6T交換芯片的CPO交換機發(fā)布。
光電聯(lián)合封裝技術(shù)在功耗控制和提高系統(tǒng)交換或計算容量方面有很大的吸引力,預(yù)計未來3到5年會逐漸在高密度數(shù)據(jù)交換或高性能計算場合開始應(yīng)用。但是這個技術(shù)的普及還有很多挑戰(zhàn),除了高密度封裝的難度、如何進行散熱、光引擎本身的可靠性、系統(tǒng)維護方法等技術(shù)挑戰(zhàn)以外,更重要的是對整個光通信產(chǎn)業(yè)鏈的重構(gòu)。
下圖比較了傳統(tǒng)交換機和未來基于Co-package技術(shù)的交換機開發(fā)流程的區(qū)別。可以看出,傳統(tǒng)交換機采用可插拔光模塊形式,整個系統(tǒng)是在硬件開發(fā)的最后階段才和光模塊組合在一起,設(shè)備內(nèi)部也沒有光路連接;而采用了光電聯(lián)合封裝技術(shù)后,在數(shù)字交換芯片或計算芯片生產(chǎn)階段就要和光引擎進行集成,最終的系統(tǒng)硬件集成階段還可能涉及激光源以及板內(nèi)光纖的組裝。由于整個產(chǎn)業(yè)鏈都需要重新分工和定位,Co-package技術(shù)的采用可能會是一個循序漸進的過程。預(yù)計在未來的很長一段時間,可插拔的光模塊仍然會是實現(xiàn)高速光連接的主流技術(shù)方式。
文章來源:微信公眾號“測量的知識”