ICC訊 美國加利福尼亞州圣克拉拉 - 太平洋時間 2024 年 2 月 28 日 - ServiceNow(NYSE:NOW)、Hugging Face 和 NVIDIA 于今日發(fā)布 StarCoder2,其為一系列用于代碼生成的開放獲取大語言模型(LLM),將為性能、透明度和成本效益樹立新標(biāo)準(zhǔn)。
StarCoder2 的聯(lián)合開發(fā)者 BigCode 社區(qū)是由 ServiceNow 和 Hugging Face 共同管理。前者是一家領(lǐng)先的數(shù)字工作流公司,致力于為每個人創(chuàng)造更好的工作環(huán)境;后者則是最常用的開源平臺,機(jī)器學(xué)習(xí)社區(qū)在該平臺上就模型、數(shù)據(jù)集和應(yīng)用程序開展合作。
在 619 種編程語言上訓(xùn)練而成的 StarCoder2,可接受進(jìn)一步的訓(xùn)練并嵌入到企業(yè)應(yīng)用中,以執(zhí)行應(yīng)用源代碼生成、工作流生成、文本摘要等特定任務(wù)。開發(fā)者可以使用它的代碼補(bǔ)全、高級代碼摘要、代碼片段檢索等功能,加快創(chuàng)新速度及提高工作效率。
StarCoder2 提供三種規(guī)模的模型:由 ServiceNow 訓(xùn)練的 30 億參數(shù)模型、由 Hugging Face 訓(xùn)練的 70 億參數(shù)模型,以及由 NVIDIA 使用 NVIDIA NeMo 構(gòu)建并在 NVIDIA 加速基礎(chǔ)設(shè)施上訓(xùn)練的 150 億參數(shù)模型。規(guī)模較小的模型由于參數(shù)較少,在推理過程中所需的計算量較少,可在提供強(qiáng)大性能的同時節(jié)省計算成本。實際上,新的 30 億參數(shù)模型在性能上與原有的 StarCoder 150 億參數(shù)模型不相上下。
ServiceNow 的 StarCoder2 開發(fā)團(tuán)隊負(fù)責(zé)人兼 BigCode 聯(lián)合負(fù)責(zé)人 Harm de Vries 表示: “StarCoder2 證明了將開放式科學(xué)協(xié)作和負(fù)責(zé)任的 AI 實踐與道德數(shù)據(jù)供應(yīng)鏈相結(jié)合所產(chǎn)生的力量。這一極其先進(jìn)的開放獲取模型將提高已有生成式 AI 的性能和開發(fā)者的生產(chǎn)力,為開發(fā)者提供平等的機(jī)會,獲得代碼生成式 AI 的優(yōu)勢。這使任何規(guī)模的企業(yè)都能更加輕松地激發(fā)其全部業(yè)務(wù)潛力?!?
Hugging Face 機(jī)器學(xué)習(xí)工程師兼 BigCode 聯(lián)合負(fù)責(zé)人 Leandro von Werra 表示: “在 Hugging Face、ServiceNow 和 NVIDIA 的共同努力下,這套功能強(qiáng)大的基礎(chǔ)模型終于問世。在數(shù)據(jù)和訓(xùn)練完全透明的情況下,社區(qū)能夠更加高效地構(gòu)建各種應(yīng)用。StarCoder2 證明了開源和開放式科學(xué)的潛力,我們正在努力實現(xiàn)負(fù)責(zé)任 AI 的全民化。”
NVIDIA 應(yīng)用研究副總裁 Jonathan Cohen 表示: “由于每個軟件生態(tài)系統(tǒng)都有專門的編程語言,代碼 LLM 可以推動各行業(yè)效率和創(chuàng)新方面的突破。NVIDIA 與 ServiceNow 和 Hugging Face 的合作帶來了安全且負(fù)責(zé)任的模型,讓更多人能夠用上負(fù)責(zé)任的生成式 AI,我們相信這將使全球社區(qū)受益。”
StarCoder2 模型為自定義應(yīng)用開發(fā)增添強(qiáng)大助力
StarCoder2 模型均使用來自 BigCode 的先進(jìn)架構(gòu)和精心挑選的數(shù)據(jù)源。為了實現(xiàn)負(fù)責(zé)任的大規(guī)模創(chuàng)新,數(shù)據(jù)源的透明度和開放治理被放在第一位。
StarCoder2 提升了未來由 AI 驅(qū)動的編碼應(yīng)用的潛力,包括各種文本-代碼和文本-工作流轉(zhuǎn)換功能。通過更加廣泛、深入的編程訓(xùn)練,它可以提供資源庫上下文,從而實現(xiàn)準(zhǔn)確的上下文感知預(yù)測。無論是經(jīng)驗豐富的軟件工程師還是業(yè)余開發(fā)者等,都能利用這些進(jìn)步提升業(yè)務(wù)價值和推動數(shù)字化轉(zhuǎn)型。
StarCoder2 的基礎(chǔ)是一個名為 Stack v2 的新代碼數(shù)據(jù)集,該數(shù)據(jù)集規(guī)模比 Stack v1 大 7 倍多。除了先進(jìn)的數(shù)據(jù)集之外,新的訓(xùn)練技術(shù)也有助于模型理解低資源編程語言(如 COBOL 等)、數(shù)學(xué)和程序源代碼討論。
使用特定業(yè)務(wù)數(shù)據(jù)對先進(jìn)功能進(jìn)行微調(diào)
用戶可以使用 NVIDIA、NeMo 或 Hugging Face TRL 等開源工具,利用特定行業(yè)或組織的數(shù)據(jù),對開放獲取的 StarCoder2 模型進(jìn)行微調(diào)。可以創(chuàng)建高級聊天機(jī)器人來處理更復(fù)雜的摘要或分類任務(wù)、開發(fā)能夠快速且輕松地完成編程任務(wù)的個性化編碼助手、檢索相關(guān)代碼片段,并實現(xiàn)文本-工作流轉(zhuǎn)換功能。
為創(chuàng)建適合自身業(yè)務(wù)的特定任務(wù)功能,各企業(yè)已經(jīng)開始對 StarCoder 基礎(chǔ)模型進(jìn)行微調(diào)。
ServiceNow 的文本-代碼 Now LLM 就是在 150 億參數(shù) StarCoder LLM 的專用版本上構(gòu)建而成的,并針對其工作流模式、用例和流程進(jìn)行了微調(diào)和訓(xùn)練。Hugging Face 也使用該模型創(chuàng)建了自己的 StarChat 助手。
BigCode 促進(jìn) AI 領(lǐng)域的開放式科學(xué)協(xié)作
BigCode 是一個由 Hugging Face 和 ServiceNow 領(lǐng)導(dǎo)的開放式科學(xué)協(xié)作社區(qū),致力于負(fù)責(zé)任的代碼 LLM 開發(fā)。
BigCode 社區(qū)以工作組和特別任務(wù)組的形式積極參與 StarCoder2 項目的技術(shù)工作,分別使用 ServiceNow 的 Fast LLM 框架來訓(xùn)練 30 億參數(shù)模型、使用 Hugging Face 的 nanotron 框架來訓(xùn)練 70 億參數(shù)模型,以及 NVIDIA NeMo 云原生框架和 NVIDIA TensorRT-LLM 軟件來訓(xùn)練和優(yōu)化 150 億參數(shù)模型。
BigCode 的核心宗旨是促進(jìn)負(fù)責(zé)任的創(chuàng)新,其開放的治理、透明的供應(yīng)鏈、開源軟件的使用,以及讓開發(fā)者選擇數(shù)據(jù)不用于訓(xùn)練等做法都體現(xiàn)了這一點(diǎn)。StarCoder2 是在獲得 Inria 托管的 Software Heritage 數(shù)字共享許可下,使用負(fù)責(zé)任的數(shù)據(jù)構(gòu)建而成的。
Software Heritage 總監(jiān) Roberto Di Cosmo 表示: “StarCoder2 是首個使用 Software Heritage 源代碼存檔開發(fā)的代碼生成式 AI 模型,其構(gòu)建方式符合我們負(fù)責(zé)任地開發(fā)代碼模型的政策。ServiceNow、Hugging Face 和 NVIDIA 的這一合作體現(xiàn)了對道德 AI 開發(fā)的共同承諾,引領(lǐng)技術(shù)朝著更崇高的利益發(fā)展?!?
StarCoder2 與其前代一樣,將在 BigCode Open RAIL-M 許可下免費(fèi)提供訪問和使用。為進(jìn)一步促進(jìn)透明度和協(xié)作,該模型的支持代碼將繼續(xù)保留在 BigCode 項目的 GitHub 頁面上。
所有 StarCoder2 模型還可以在 Hugging Face 上下載。StarCoder2 150 億參數(shù)模型通過 NVIDIA AI Foundation 模型提供,開發(fā)者可以直接在瀏覽器上或通過 API 端點(diǎn)進(jìn)行試用。
欲了解關(guān)于 StarCoder2 的更多信息,請訪問:https://huggingface.co/bigcode。
關(guān)于 NVIDIA
自 1993 年成立以來,NVIDIA(納斯達(dá)克:NVDA)一直是加速計算領(lǐng)域的先驅(qū)。NVIDIA 在1999 年發(fā)明的 GPU 驅(qū)動了 PC 游戲市場的增長,并重新定義了現(xiàn)代計算機(jī)圖形,開啟了現(xiàn)代 AI 時代,正在推動跨市場的工業(yè)數(shù)字化。NVIDIA 現(xiàn)在是一家全棧計算基礎(chǔ)設(shè)施公司,其數(shù)據(jù)中心規(guī)模的解決方案正在重塑整個行業(yè)。更多信息,請訪問:https://nvidianews.nvidia.com/。
關(guān)于 ServiceNow
ServiceNow(NYSE:NOW)讓世界變得更美好。我們基于云的平臺和解決方案幫助企業(yè)實現(xiàn)數(shù)字化和統(tǒng)一,從而找到更加智能、快速、有效的工作流程,讓員工與客戶產(chǎn)生更多的聯(lián)系、更多的創(chuàng)新和更大的敏捷性。我們能夠創(chuàng)造出我們所想象的未來。ServiceNow? 與世界同心協(xié)力。欲了解更多信息,請訪問:www.servicenow.com。
關(guān)于 Hugging Face
Hugging Face 是領(lǐng)先的開源和社區(qū)驅(qū)動 AI 平臺。它所提供的工具使用戶能夠構(gòu)建、探索、部署和訓(xùn)練機(jī)器學(xué)習(xí)模型和數(shù)據(jù)集。欲了解更多信息,請訪問:www.huggingface.co.