云碩自主 AI · 模型治理 · 地端部署

公司用了幾顆模型、花了多少錢
一個入口全都看得到

xStudio 把外購的 API 與自家 GPU 上的模型收進同一個 OpenAI 相容入口。開發者只改一行 base_url,原本的程式不動;管理者拿到逐筆用量、台幣成本與額度上限。額度用完當下就切斷,不是寄一封警告信,等到月底收帳單才發現。

1
個對外入口
TWD
即時匯率計價
逐筆
用量與成本記錄
0
廠商綁定
使用者操作流程

從接上游到看見帳單,七步走完

由左到右:模型怎麼接進來、開發者怎麼用、財務看到什麼。請求一進閘道就開始記帳,額度用完當下切斷。

xStudio 使用者操作流程圖

點圖開大圖左右滑動看完整流程,點圖開大圖

綠=模型接進來 藍=開發者操作 橘=管理決策 紫=平台輸出
核心價值

模型可以換
接法不用改

今天用外購 API、明天換成自家機房的模型,對應用程式來說應該只是後台的一個設定。xStudio 把這件事變成真的。

改一行就接上

把 base_url 指到 xStudio,原本的 OpenAI SDK 一行都不用改。之後要換模型、換供應商、加上備援,都在後台切換,應用程式不必重新部署。

錢看得見

每次呼叫都記下 token 數與台幣成本,依即時匯率換算。哪個部門、哪個人、哪顆模型花掉多少隨時查得到;公有雲預算用到八成與用完各提醒一次,月底由平台產出給主管看的使用報告。

超量就停

金鑰綁台幣額度,地端模型另有每人 token 額度,以每 5 小時、每 7 天為時段。用完的下一個請求就擋下,並寫明幾點恢復,一支寫錯的迴圈燒不掉整季預算。

自建算力一起管

機房裡的 GPU 上架後,與外購 API 走同一套計價與監控,自建比外購省多少,看同一份報表就知道。用的人變多時,可以在網頁上替同一個模型多開副本或換大一點的 GPU 規格;也能開自動擴充,GPU 利用率持續偏高就加副本、偏低再減回,每次加減都留紀錄。

六大功能區

依實際使用順序排列
不是照資料表擺

一般使用者只要前兩區就能開始工作;後四區是管理員把上游、帳號、算力與既有 API 接進來的地方。

登入與畫面

進來先看到自己的餘額、最近用量與可用模型清單。哪顆模型還有額度、上次呼叫失敗在哪,第一頁就講完。

第一步

打通第一個請求

領金鑰、選模型、複製範例程式,貼上就能跑。金鑰只顯示一次,之後只看得到指紋與可用範圍。

第二步

接上游供應商

管理員加入外購 API 或自家端點,設定價格與權重。同一顆模型可以掛多個來源,一邊掛掉自動走另一邊。

管理員

部門與 token 額度

建使用者與部門、指定部門主管。主管登入後只看得到自己的部門,自己替每位工程師分 token 額度,不必事事找管理員。

管理員

算力平台

把機房的 GPU 機納管,一鍵上架自家模型。每張卡可以整張用、分時共用或做 MIG 切割,可切的規格由主機實際回報,支援 RTX PRO 6000 SE、H200、B300;切片分配圖看得出每格給了哪個模型、記憶體用多少。

自建算力

REST API 納管

自家或第三方的既有 API 也能收進同一個入口,套用同一套金鑰、額度與稽核,不必為每支 API 各做一套控管。

延伸
技術與現況

自有模型閘道
離線安裝包一次裝好

應用程式只接一個 OpenAI 相容入口,上游換供應商或改用地端模型都不用改程式;台灣需要的台幣計費、額度與治理都在這一層。

自家開發的模型閘道

OpenAI 相容閘道由云碩自己開發,商用 API 與機房裡的推論服務都從這一層進出。額度檢查與記帳在同一層完成,額度用完的下一個請求一定擋得下。

離線安裝包

正式版是離線安裝包,客戶主機不連外網也裝得好,授權綁定那台主機;每版出貨前重掃弱點,有可修補的 Critical 或 High 就不出貨。

金鑰與憑證

金鑰只顯示一次、之後存雜湊,連線憑證以 AES-256-GCM 加密。第一次開機就是 https,正式憑證在網頁上換,套用失敗自動換回;管理員登入要兩步驗證。

台南應用科技大學在用

校內 AI 平台跑的就是正式版:三張 RTX 6000 Ada,一張提供全校 AI 服務、兩張給教學,老師全程在網頁上操作。云碩自己機房的 GPU 也由它管。

常見問題

導入前,先把疑慮問清楚

和直接接 OpenAI 有什麼差別

直接接的問題不在技術,在治理。金鑰散在各專案裡、沒人知道誰花了多少、換供應商要改一輪程式碼、地端模型與雲端 API 兩套管法。xStudio 把這些收成一個入口:金鑰集中發放、用量逐筆記錄、供應商在後台切換、自建與外購同一套報表。

這樣會不會變成單點故障

會,所以同一顆模型可以掛多個上游來源並設定權重,一邊失敗自動走另一邊。閘道本身無狀態,可以多起幾份掛負載平衡。地端部署時還可以保留直連上游的緊急路徑。

支援哪些供應商

凡是 OpenAI 相容的端點都接得上,包含主流商用 API 與機房裡自架的推論服務,云碩機群裡的地端模型就是這樣掛上去的。非相容的自家 REST API 走「API 納管」那一區。

台幣成本怎麼算的準

以供應商公布的每百萬 token 單價為基礎,乘上實際用量,再依當日匯率換算台幣。匯率來源與換算時點都記在紀錄裡,可以回溯。自建模型則按 GPU 時數攤提,攤提方式由管理者設定。

地端模型怎麼上架

在算力平台那一區指定 GPU 機與模型檔,平台起推論服務並註冊成一個可呼叫的模型名稱。上架後與外購 API 在使用端看起來一樣,開發者不需要知道它跑在哪張卡上。

很多人同時用,要等多久

對話頁與模型測試台會直接顯示目前幾人使用中、預估要等幾秒,使用者送出前就知道;管理者在總覽看得到每個模型的即時負載。上線前可以先跑壓力測試,平台依設定的人數階梯逐階加壓,量出首字時間與失敗率,標出可接受的人數上限,報告可以存成 PDF。人數超過上限時,就替這個模型加 GPU 資源或開自動擴充。

先把「誰用了多少」弄清楚

我們可以帶著跑起來的平台到現場,接上貴單位實際在用的 API 與機房 GPU 示範。

填寫需求,安排展示 →