騰訊科技程傳勝：近年來(lái)自研交換機(jī)的實(shí)踐和探索

  ICC訊 開(kāi)放數(shù)據(jù)中心峰會(huì)(ODCC2020)在北京召開(kāi)，峰會(huì)圍繞數(shù)據(jù)中心新基建為主題，有數(shù)據(jù)中心領(lǐng)域及相關(guān)行業(yè)的眾多專家與會(huì)。在9月16日網(wǎng)絡(luò)分論壇上，騰訊科技程傳勝先生就百度近年來(lái)自研交換機(jī)的實(shí)踐和探索進(jìn)行了分享。

  騰訊科技程傳勝

  程傳勝：剛才阿里、百度兩位同學(xué)都從OS和運(yùn)維層面介紹了自研交換機(jī)，接下來(lái)就由我和大家分享騰訊科技自研交換機(jī)的硬件實(shí)踐。隨著集群規(guī)模越來(lái)越大，網(wǎng)絡(luò)也越來(lái)越大，傳統(tǒng)SONIC交換機(jī)也越來(lái)越大，加上我們的自研交換機(jī)比較慢，所以基于單芯片的自研交換機(jī)應(yīng)運(yùn)而生。單芯片的自研交換機(jī)是我們自主的硬件設(shè)計(jì)，這樣就會(huì)做到交換機(jī)內(nèi)部的硬件可控，單硬件的故障率也比較低，因此硬件的規(guī)格和模式方面也做了一些創(chuàng)新，OS軟件就是我們自主研發(fā)、擁有自主IP的交換機(jī)形式。

  看一看騰訊自研交換機(jī)的歷程，2018年之前騰訊對(duì)自研交換機(jī)無(wú)論是軟件、硬件還是模式都做了不少探索和摸索，2018年公司層面開(kāi)始厚積薄發(fā)，開(kāi)展自研交換機(jī)的項(xiàng)目，主要包括兩款產(chǎn)品：2.0TTD3平臺(tái)，基于TH3平臺(tái)的Leaf/Spine研發(fā)，2019年下半年規(guī)模上線，年底基于業(yè)務(wù)的發(fā)展需要集中研發(fā)3.2TTD3平臺(tái)TOR，今年下半年我們就可以規(guī)模上線，2020年上半年Q1又啟動(dòng)了自研交換機(jī)3.0，包括基于TH4平臺(tái)的Leaf/Spine和TOR。

  這些是騰訊自研交換機(jī)的產(chǎn)品庫(kù)，BMC監(jiān)控運(yùn)維方面也有一個(gè)比較好用的模塊，當(dāng)時(shí)引入的時(shí)候整個(gè)BMC大概300元人民幣，軟件監(jiān)控和運(yùn)維也有比較大的便利性，所以這是花小錢辦大事的功能，就是像管理服務(wù)器一樣管理交換機(jī)，交換機(jī)也可以借用服務(wù)器的運(yùn)維平臺(tái)，對(duì)外接口也是適用QR8接口，芯片使用Tomahawk3，也是采用TD3的芯片，可以監(jiān)控20G、25G和10G，應(yīng)用50G和100G的接入場(chǎng)景，CPU也是127，作為智能BMC的設(shè)計(jì)，目前已經(jīng)量產(chǎn)上線，預(yù)計(jì)明年Q1就會(huì)上線。

  我們選擇交換機(jī)接口形態(tài)的時(shí)候也做了調(diào)研，隨著芯片的發(fā)展和接口的多樣化，可選的端口比較多，包括ESP、SMP，最終還是因?yàn)樯鷳B(tài)的原因選擇200G，100G接入的時(shí)候是一分二的線纜，實(shí)現(xiàn)200G和100G的接入，要是往上接的話其實(shí)400G可以直接達(dá)到200G，我們使用芯片就是基于8.0T帶寬，CPU平臺(tái)同樣也是采用Intel1527平臺(tái)，因?yàn)閺那懊娴倪\(yùn)維和使用的角度來(lái)看，我們也對(duì)光模塊做了監(jiān)控系統(tǒng)，所以需要花費(fèi)30多秒的時(shí)間。FPGA用來(lái)管理所有的光模塊，也有比較強(qiáng)大的IO接口，所有的光模塊都可以一起訪問(wèn)，共同點(diǎn)就是都在使用X86平臺(tái)，硬件適配和軟件開(kāi)發(fā)周期會(huì)有比較大的縮減，運(yùn)維或者制造的時(shí)候成本會(huì)低一點(diǎn)。

  因?yàn)橹拔覀兊膱F(tuán)隊(duì)剛剛組建，依賴的廠家比較多，94和84開(kāi)始我們會(huì)采用新的研發(fā)模式，就是只能選擇一家ODM廠商幫助我們?cè)O(shè)計(jì)，另外一家就是按照合同生產(chǎn)的方式，這樣的話我們就可以做到兩個(gè)廠家交互的硬件100%一致，可以帶來(lái)很多好處，研發(fā)的時(shí)候不會(huì)發(fā)生很多問(wèn)題。因?yàn)槿医桓兜挠布母怕噬蟻?lái)講，研發(fā)的時(shí)候發(fā)生的問(wèn)題是好幾倍，硬件完全統(tǒng)一的話研發(fā)的時(shí)候就會(huì)節(jié)約很多時(shí)間。我們今天所有的產(chǎn)品都拿過(guò)來(lái)在外面展覽，大家如果有興趣可以去看一看。

  今年我們的部署計(jì)劃是ECN交換機(jī)占到全部交換機(jī)的25%，明年我們的交換機(jī)會(huì)占100%，就是全部的自研交換機(jī)?；诂F(xiàn)在已經(jīng)部署的自研交換機(jī)的故障率，滾動(dòng)年硬件故障率小于千分之二，目前來(lái)看還可以優(yōu)于現(xiàn)網(wǎng)的交互數(shù)據(jù)，時(shí)間成本也有不同程度的節(jié)約。我們做到了DCN硬件的融合，因?yàn)榻粨Q機(jī)和光模塊線纜都在DCN上面應(yīng)用，數(shù)據(jù)的監(jiān)控只有五個(gè)參數(shù)，電壓、電流、光伏率和溫度等等，能夠診斷出來(lái)的故障數(shù)量或者速度也比較慢，然后就對(duì)后面的光模塊在不增加成本的情況下做了如下的增強(qiáng)功能和監(jiān)控功能的定制，但是這些定制也有賴于我們交換機(jī)的硬件設(shè)計(jì)，比如剛才說(shuō)的IOTC的設(shè)計(jì)，雖然光模塊監(jiān)控的參數(shù)變多了，頁(yè)數(shù)也變多了，但讀取的時(shí)間沒(méi)有增加反而減少，其實(shí)這就是光電結(jié)合的例子，后面也要做到更低成本的光電融合。