PCIe3.0光纜設(shè)計：光通訊模塊搭配控制器

　　光通訊模塊、控制器搭配得宜 PCIe 3.0光纖纜線設(shè)計達(dá)陣

　　文/Christopher Wong

　　對PCIe Express 3.0(PCIe Gen3)機箱間的連接應(yīng)用來說，光纖技術(shù)可提供優(yōu)于同軸電纜的更佳替代選擇。

　　雖然串行解串行器(SerDes)轉(zhuǎn)換技術(shù)原本的設(shè)計是在個人計算機(PC)主板上承載PCIe Gen1/Gen2總線訊號，但也可簡單應(yīng)用到同軸電纜上做為數(shù)據(jù)中心與服務(wù)器機箱間的互連接口。不過，銅纜的通道特性將會因PCIe Gen3更高信道頻率而大幅度劣化，因此長距離的銅線互連技術(shù)將面臨無法滿足導(dǎo)入8Gbit/s PCIe Gen3技術(shù)產(chǎn)品對成本、效能、尺寸與重量的要求。

　　光纖技術(shù)為高信道數(shù)PCIe Gen3接口提供非常具有吸引力的替代方案，例如大幅延長的聯(lián)機距離、更小的尺寸、更輕的重量、更低的功耗、更高的效能，以及更具競爭力的成本。雖然采用光纖的PCIe Gen3互連標(biāo)準(zhǔn)尚在初期制訂階段，但市面上已有做為過渡方案的產(chǎn)品。

　　本文將介紹PCIe Gen3電氣標(biāo)準(zhǔn)，以及將目前商用光纖技術(shù)應(yīng)用到低成本PCIe Gen3的挑戰(zhàn)，并將使用由PLX和安華高(Avago)共同開發(fā)的解決方案探討PCIe Gen3光學(xué)聯(lián)機的效能、成本、模塊外型、尺寸，以及制造上面臨的問題，并提出PCIe Gen3端對端光纖聯(lián)機的設(shè)計架構(gòu)，描述光纖解決方案如何用來支持商業(yè)PCIe應(yīng)用的全64Gbit/s(雙向128Gbit/s)通訊容量。

　　PCIe Gen3傳輸速率翻倍成長

　　PCIe總線是提供中央處理器(CPU)與相關(guān)周邊，如繪圖顯示適配器、內(nèi)存、磁盤驅(qū)動器和外部輸入輸入(I/O)適配卡等連接的高速串行技術(shù)，最初由英特爾(Intel)開發(fā)，目前已逐漸成為大部分桌面計算機、工作站及高階服務(wù)器的互連標(biāo)準(zhǔn)，同時也逐漸在一些較大型系統(tǒng)中成為被動式背板互連的技術(shù)。

　　在物理層(PHY Layer)上，PCIe以兩個端點設(shè)備間單一或多個點連接實現(xiàn)，稱為通道(Lane)，每個通道都由兩個低電壓交流耦合差動訊號對組成，形成兩個聯(lián)機端點設(shè)備間的高速全雙工比特流(Bitstream)。比特流中使用8b/10b編碼方法嵌入數(shù)據(jù)頻率達(dá)到超高數(shù)據(jù)傳輸率。為滿足更高的容量，PCIe信道可經(jīng)過組合形成二、四、八及三十二信道的多信道聯(lián)機，并透過信道傳送封包數(shù)據(jù)。

　　當(dāng)PCIe Gen1標(biāo)準(zhǔn)于2003年推出時，每個通道的連接速度定義為2.5Gbit/s，所采用的8b/10b線路編碼法會降低有效容量20%;PCIe Gen2則將速度加倍為5Gbit/s， 帶來三十二通道的PCIe連接器支持，達(dá)到高達(dá)160Gbit/s的總比特率。圖1所示為PCIe Gen1與Gen2物理層功能分工。

圖1 PCIe Gen1與Gen2物理層功能分工(左)與方塊圖(右) 圖片來源：英特爾

　　2010年底定的PCIe Gen3規(guī)格則再一次將信道容量加倍，并以稱為“打散(Scrambling)”的技術(shù)取代Gen1與Gen2使用的8b/10b線路編碼方式，可降低信道負(fù)擔(dān)約1.5%。

　　光纖延伸PCIe接口聯(lián)機距離

　　由于PCIe技術(shù)的高頻訊號須額外利用阻抗受控信道，減低訊號噪聲，且聯(lián)機距離相對較短，因此比較適用于CPU與周邊位置接近的連接。

　　先不論技術(shù)上的挑戰(zhàn)，業(yè)界已對使用電子與光纖纜線延伸PCIe聯(lián)機到機箱間應(yīng)用具高度的興趣。服務(wù)器、交換機及儲存設(shè)備間透過PCIe連接時，并不需中介傳輸通訊協(xié)議或是相關(guān)的電子零組件，除可降低系統(tǒng)延遲并提高傳輸效率外，使用PCIe還具降低整體系統(tǒng)復(fù)雜度、成本及耗電的優(yōu)點。

　　為支持這些應(yīng)用，業(yè)界也制定外部PCIe(External PCI Express, ePCIe)規(guī)格，可將PCIe Gen1的2.5Gbit/s訊號傳輸延伸到數(shù)公尺長的同軸電纜，目前已被應(yīng)用于包括儲存系統(tǒng)、高效能運算計算機，以及其他需要高容量、多機箱系統(tǒng)互連的產(chǎn)品，例如高階影音系統(tǒng)等。

　　雖然更快的訊號會因更長的纜線導(dǎo)致衰減、對參考頻率抖動更為敏感，以及其他訊號完整性問題限制，無法實現(xiàn)較長的纜線距離，業(yè)界目前已針對ePCIe Gen2的纜線規(guī)格進(jìn)行解決方案的開發(fā)，而這些問題在PCIe Gen3 8Gbit/s傳輸速率時，將更加復(fù)雜，且需更昂貴的等化與時序解決方案。事實上，光纖是PCIe Gen3芯片與纜線業(yè)者研發(fā)產(chǎn)品時，要使產(chǎn)品兼具較長聯(lián)機距離與更高容量彈性設(shè)計較佳考慮，促使光纖成為延伸現(xiàn)有PCIe總線到多機箱互連的銅纜替代方案。

　　值得注意的是，當(dāng)PCIe Gen3開始量產(chǎn)時，光纖纜線將比銅纜解決方案耗電更少且成本更低，這些特性使采用光纖的PCIe成為目前應(yīng)用于數(shù)據(jù)中心連接服務(wù)器、交換機及其他儲存設(shè)備其他傳輸接口的良好替代方案。在整個輸出輸入連接使用PCIe還可減少甚至免除通訊協(xié)議轉(zhuǎn)換芯片的需求，從而降低整體系統(tǒng)成本、功耗及避免通道延遲的問題。

　　光纖版PCIe Gen3過渡方案現(xiàn)身

　　雖然PCIe-SIG發(fā)表使用光纖的PCIe Gen3標(biāo)準(zhǔn)還需幾年時間，但目前已有商用產(chǎn)品做為過渡方案，使用市面上可取得的PCIe Gen3組件及平行光收發(fā)器模塊，可大幅加速特定應(yīng)用光學(xué)互連產(chǎn)品的開發(fā)，滿足無法等待PCIe SIG提出Gen2/Gen3光纖規(guī)格的市場。

　　由于PCIe的媒體訪問控制(MAC)與PHY層的接口非常簡單并擁有良好的文件說明，因此可非常容易使用市面上現(xiàn)有的PCIe Gen3交換器，或其他端點組件推動平行光收發(fā)器模塊，而非PCIe Gen3規(guī)格中定義的多信道電氣SerDes驅(qū)動器。對PCIe Gen3最適合的高效能應(yīng)用，較保險的做法是假設(shè)它們需要至少八個平行信道容量。

　　多通道端點可使用目前市面上多個供貨商的產(chǎn)品實現(xiàn)，包括平行光發(fā)射/接收模塊中的垂直腔表面發(fā)射雷射(Vertical Cavity Surface Emitting Laser, VCSEL)數(shù)組。采用VCSEL技術(shù)的平行光學(xué)模塊可支持多達(dá)十二個平行信道，每信道以8Gbit/s或更高速度運作，并提供150公尺的纜線。

　　為評估使用商用產(chǎn)品的可行性，本文建立一個概念驗證展示系統(tǒng)(圖2)，由內(nèi)含四十八通道PCIe Gen3交換器適配卡的主控計算機組成，交換器推動十二信道10Gbit/s MiniPOD光學(xué)模塊，并使用八個光學(xué)信道，另四個則未使用。

圖2　概念驗證光學(xué)PCIe聯(lián)機展示系統(tǒng)方塊圖

　　光學(xué)PCIe聯(lián)機設(shè)計挑戰(zhàn)多

　　本文架構(gòu)概念驗證系統(tǒng)的一個主要理由是，提供使用商用零組件做為光學(xué)PCIe聯(lián)機應(yīng)用的可能性證明。此外，原型系統(tǒng)開發(fā)與測試也會找出幾個必須解決的問題，特別是在光學(xué)領(lǐng)域的PCIe通訊協(xié)議支持上，這些問題包括：

　　· 接收器偵測

　　平行光收發(fā)器模塊并未提供由PCIe發(fā)射器用來偵測聯(lián)機存在的50奧姆(Ω)阻抗電氣界面。當(dāng)適當(dāng)?shù)呢?fù)載存在時，發(fā)射器會觸發(fā)，并以在組件接收端所偵測到的模式運作，特別的是，它會做為開始傳送一系列線路探查訊號的隊列，以便讓接收器計算并做為等化電路設(shè)定的參考，在使用標(biāo)準(zhǔn)PCIe MAC組件支持光學(xué)聯(lián)機的應(yīng)用中，發(fā)射器線路探查與等化功能必須被關(guān)閉。

　　·電氣待機模式

　　PCIe電氣接口包含在無數(shù)據(jù)傳輸時將聯(lián)機變成節(jié)能待機(Electrical IDLE, EIDLE)模式的功能，不過采用光纖聯(lián)機時這個模式可能會造成問題，原因是收發(fā)器較長的暖機時間可能會產(chǎn)生線路跳動或不適當(dāng)?shù)钠珘?，帶來錯誤的EIDLE偵測或跳離EIDLE狀態(tài)。

　　·頻率

　　由于大部分光學(xué)PCIe聯(lián)機并不會在相同機架間有兩端點的連接，因此本文須假設(shè)它們不會使用相同的重置或系統(tǒng)頻率訊號，在這些應(yīng)用及本篇文章提供的范例中，并無法在聯(lián)機上實現(xiàn)同步重置或頻率，因此端點必須能夠支持異步頻率運作。

　　· 遠(yuǎn)程重置

　　在大部分應(yīng)用中，PCIe聯(lián)機的遠(yuǎn)程光學(xué)適配卡會在主系統(tǒng)前供電，因此遠(yuǎn)程電路卡在設(shè)計上須能在電源啟動時進(jìn)行自動重置程序，以便在主控端啟動時能完全初始化并開始進(jìn)行聯(lián)機。另一個做法是若操作系統(tǒng)能完全由用戶控制，那么系統(tǒng)就能以任何順序啟動，雖然這種方式并不常見，但對客制化應(yīng)用軟件在系統(tǒng)中定時檢查聯(lián)機狀態(tài)非常需要，在這樣的組態(tài)下，在兩方系統(tǒng)確認(rèn)完成傳輸準(zhǔn)備后，操作系統(tǒng)便可啟動標(biāo)準(zhǔn)的系統(tǒng)列舉與程序動作。

　　·外部訊號

　　目前針對同軸電纜定義的PCIe外部纜線規(guī)格，存在光學(xué)解決方案無法承載的額外訊號，例如100MHz的纜線參考頻率(RefClk)并不需要，原因是頻率可由PCIe收發(fā)器的資料串流中取得。此外包括SB_RTN單端邊頻帶訊號的回返電氣訊號接腳、CPRSNT#安裝的纜線/下傳子系統(tǒng)上電、CPWRON上傳子系統(tǒng)電源穩(wěn)定通知、CWAKE#喚醒事件的電源管理訊號，以及CPERST纜線PERST#纜線平臺重置等接腳，在使用光纖纜線時也無法使用。

　　選擇支持八信道組態(tài)組件

　　許多標(biāo)準(zhǔn)完成前的開發(fā)動作須實現(xiàn)商用產(chǎn)品尚未提供的功能，通常以使用現(xiàn)場可編程門陣列(FPGA)及離散組件達(dá)成。不過在PCIe Gen3的例子上，市場上已有實現(xiàn)概念驗證系統(tǒng)所需功能的產(chǎn)品，雖然它們并沒有針對這類特殊應(yīng)用優(yōu)化。

　　選擇最適合的光學(xué)模塊予本文測試應(yīng)用范例，將包含幾個考慮，包括信道數(shù)量、外型規(guī)格及兼容性等。雖然PCIe規(guī)格允許二、四、八、十二及十六個信道，但光學(xué)模塊通常以八或十二個通道組態(tài)提供，本文選擇八通道組態(tài)的原因是其經(jīng)常使用于高效能PCIe 2.0的設(shè)計中，預(yù)計也會在PCIe Gen3標(biāo)準(zhǔn)受到歡迎。此外，標(biāo)準(zhǔn)化八信道PCIe端點產(chǎn)品也給設(shè)計團(tuán)隊帶來豐富的組件選擇，其中，由于CXP與MiniPOD模塊容易取得并擁有良好的效能特性，因此成為兩個最具吸引力的選擇。

　　MiniPOD模塊機械設(shè)計較佳

　　本文選擇MiniPOD的原因是其嵌入式平行光學(xué)組態(tài)可直接安裝到印刷電路板上，帶來更好的電氣與機械設(shè)計。MiniPOD光學(xué)模塊的占用面積為18.6毫米(mm)×22毫米，并且可接受十二通道的扁平纜線或圓形纜線。扁平纜線的優(yōu)點包括厚度低及模塊可緊密堆棧;圓型纜線則提供更好的穩(wěn)固度及更高彈性的彎折，圖3為透過扁平纜線耦合并使用業(yè)界標(biāo)準(zhǔn)MTP連接器MiniPOD光學(xué)模塊。

圖3 十二信道嵌入式平行光纖收發(fā)模塊MiniPOD

　　和CXP模塊使用的電路板邊緣安裝不同，MiniPOD光學(xué)模塊可簡單安排在電路板中央，并提供高速驅(qū)動器連接，將承載8Gbit/s電氣訊號的電路板走線長度減到5吋，進(jìn)而可將因電容表面效應(yīng)造成的耗損與失真控制在最低。邊緣安裝解決方案的光學(xué)或電氣PCIe纜線可能達(dá)到12～20吋，或更長的走線長度，且還需特殊的電路板材料、發(fā)射器去強調(diào)、接受器等化及頻率數(shù)據(jù)回復(fù)(CDR)等技術(shù)解決訊號完整性問題。

　　本文范例選擇四十八信道PCIe Gen3交換器做為兩個端點的PCIe控制器，原因是該組件整合用來支持光學(xué)領(lǐng)域運作的功能，此交換器可解決的問題，第一為交換器擁有關(guān)閉接收器偵測的功能，免除光學(xué)纜線提供50Ω阻抗的需求，在此模式，交換器透過對輸入數(shù)據(jù)串流譯碼進(jìn)行速度協(xié)商。

　　PCIe控制器第二個解決的問題是EIDLE，原因是該組件能被設(shè)定為忽略可能引發(fā)電氣待機狀態(tài)的數(shù)據(jù)串流變化，在此模式下，PCIe控制器持續(xù)追蹤提供對連接速度協(xié)商要求的特定數(shù)據(jù)符號，因此光學(xué)聯(lián)機能進(jìn)行列舉及聯(lián)機情況、信道和速度信息的通訊，達(dá)到完全運作帶寬。

　　不過由于此交換器經(jīng)過修改的EIDLE功能無法允許進(jìn)入或跳出動態(tài)電源管理(Active State Power Management, ASPM)狀態(tài)，因此還是存在一個小問題，但可透過實體上解除并重新啟動動作連接來初始化聯(lián)機的維持能力加以解決，然而緩存器管理，如資源重新配置、BAR編程、端點的可能注冊重新編程及訊息遮蔽等就需另外的處理程序。

　　第三個可由PCIe控制器解決的問題是，交換器支持?jǐn)?shù)據(jù)回復(fù)用的異步頻率模式，允許PCIe光學(xué)聯(lián)機的兩端能夠獨立運作。不過這個異步模式將不支持用來降低印刷電路板上承載PCIe訊號走線輻射電磁干擾的系統(tǒng)展頻頻率(Spread Spectrum Clocking, SSC)。

　　利用收發(fā)器/光纖控制器實作光纖版PCIe

　　本文提出的概念驗證展示的電路板(圖4)包含內(nèi)建四十八通道PCIe Gen3交換器適配卡的主控計算機，以及一個搭配交換器的光發(fā)射器與接收器模塊子板，在光學(xué)聯(lián)機的另一端，另一個包含光收發(fā)器與接收器模塊的交換器接口卡位于電路板上，藉以提供快速周邊，如固態(tài)硬盤驅(qū)動及以太網(wǎng)絡(luò)(Ethernet)HBA卡的輸出與數(shù)據(jù)整合。

圖4 搭配MiniPOD模塊的適配卡

　　實體聯(lián)機的每一端都使用PCIe Gen3交換器芯片進(jìn)行終端，包含頻率/數(shù)據(jù)回復(fù)以及每個高速端口的發(fā)射/接收等化。由于交換器芯片的收發(fā)器選用異步模式運作，因此在光學(xué)模塊中并不須進(jìn)行頻率與數(shù)據(jù)回復(fù)，可進(jìn)一步保留PCIe的低延遲優(yōu)勢。MiniPOD光學(xué)模塊在電路板中央位置的設(shè)計，電路板走線較短，也可讓交換器芯片的Tx與Rx訊號直接與光學(xué)模塊介接，因此只須在兩者間加入交流耦合。

　　實現(xiàn)30公尺光纖PCIe Gen3纜線

　　上述的實作電路板成功實現(xiàn)在OM3的低成本多模光纖上，實現(xiàn)超過30公尺的PCIe Gen3八通道纜線。這個光纖纜線支持異步運作(無原生SSC，但提供SSC隔離)、僅L0動作狀態(tài)(受控操作系統(tǒng)的聯(lián)機啟動與結(jié)束控制)、PCIe普通連接速度協(xié)商與PCIe標(biāo)準(zhǔn)聯(lián)機寬度安排功能。

　　但礙于先前所討論的技術(shù)問題，此一光纖纜線目前并無法具備PCIe動態(tài)電源管理、帶內(nèi)同步重置(僅支持帶外獨立重置)功能。由圖5眼圖可說明接收器驅(qū)動30公尺纜線時，擁有良好的訊號完整性及無錯誤的數(shù)據(jù)回復(fù)。

圖5 PCIe Gen3交換器在30公尺光纖數(shù)據(jù)傳輸眼圖

　　在本文實作范例中，MiniPOD光學(xué)模塊可支持PCIe Gen3以每信道8.0Gbit/s的速度運作，但實際上可支持1G?10.3125 Gbit/s的寬廣傳輸速率，因此這些光學(xué)組件可在5.0Gbit/s的PCIe Gen2及2.5Gbit/s的PCIe Gen1運作，不須更改組態(tài)也不會犧牲效能。此一傳輸速率范圍不僅可讓工程師加速實現(xiàn)PCIe Gen3光纖纜線連接，也可做為未來特定應(yīng)用產(chǎn)品多重速率光學(xué)聯(lián)機向后兼容的基礎(chǔ)。

　　(本文作者任職于安華高)