由左到右:料怎麼進來、你在哪幾步做決定、平台在哪一步把關。沒蓋整理戳記的料進不了訓練。
把資料送去別人的平台調一調,拿回來的是服務;在自己的機房訓,拿回來的是權重——那是一份放在你自己硬碟裡的資產。
去重、清洗、統一格式、個資遮罩,每一步獨立存檔可以回溯,砍掉的另存不刪。沒蓋整理戳記的料不准進訓練。
在網頁上開一個訓練工作,平台派到跑得動的 GPU 機器上執行,進度、記錄與產出都在同一頁。
訓完先用評測題庫考過,沒過的版本不出門;通過後合併、量化成你的機器跑得動的格式。
整條管線跑在自己的機房,原始資料與訓練中間產物都不離開。要在云碩的機群上訓也可以,依你的規定選。
多數單位卡在第一步——資料沒整理。所以這套的重點不是訓練參數,是前面那一段。
從指定來源開網頁抓回原文並保留出處;也能接貴單位既有的資料庫讀進來,或取用每日更新的新聞庫。
第一步去重、清洗、正規化、個資掃描,每一道都先自我驗尺,尺沒過就停下來。語音合成的料另有閘門,先篩口音、雜音、音文對齊與停頓。
第二步文字模型之外,也能訓語音辨識、語音合成、嵌入與重排序模型,平台派到合適的機器。政府與教育案只列非中國來源的底模。
第三步問答題庫之外,也能考「從零做完一個專案」與標準程式題,程式題開考前先驗過題目本身。逐題結果留存,前後兩版直接比。
第四步合併權重、量化成可部署的格式,連同模型卡與授權文件一起交付;要公開的模型直接從平台上傳 Hugging Face。
第五步哪一版用了哪一份料、誰跑的、用了哪台機器,逐筆留存,對外交付時拿得出來。
全程云碩在 Hugging Face 公開的 xVITA 語音辨識、嵌入與重排序模型,就是用這套平台訓練並發布的。
訓練工作由平台派到合適的 GPU 機器,不同世代與不同架構的機器都能納入。平台更新或重啟時,進行中的訓練與評測會自動接回。
每一道整理程序都有判準,並且會先驗自己的尺;尺沒過就中止,不讓壞料無聲流到訓練。
全量微調、LoRA、蒸餾與延續預訓練都支援。延續預訓練直接用抓料時留下的原文,讓模型學台灣的用語,不只學怎麼回答。
語音模型看錯字率、檢索模型看排序提升多少,訓完和原本的底模並排比,沒進步一眼就看得出來。
不一定要很多。先從一個場景、幾千筆開始,我們會先幫你看資料夠不夠、品質如何;資料不夠我們會直說,不會硬訓一個交差。
不只。語音辨識、語音合成、嵌入與重排序模型都在同一個平台上訓,抓料、整理、評測的步驟相同;語音合成的料會先過口音與音質的篩選。
是你的。權重放在你自己的機器上,連同模型卡、評測結果與授權文件一起交付。
整條管線可以完全跑在貴單位自己的機房,原始資料與中間產物都不離開。要在云碩機群上訓也可以,由你決定。
政府、教育與醫療案一律不選。底模只列非中國來源的開源模型,選型時會把來源國寫清楚讓你確認。
量化成你的機器跑得動的格式後,可以直接接上 xStudio 管用量、或用 xConsole 部署到邊緣設備。