由左到右:模型怎麼接進來、開發者怎麼用、財務看到什麼。請求一進閘道就開始記帳,額度用完當下切斷。
點圖開大圖左右滑動看完整流程,點圖開大圖
今天用外購 API、明天換成自家機房的模型,對應用程式來說應該只是後台的一個設定。xStudio 把這件事變成真的。
把 base_url 指到 xStudio,原本的 OpenAI SDK 一行都不用改。之後要換模型、換供應商、加上備援,都在後台切換,應用程式不必重新部署。
每次呼叫都記下 token 數與台幣成本,依即時匯率換算。哪個部門、哪個人、哪顆模型花掉多少隨時查得到;公有雲預算用到八成與用完各提醒一次,月底由平台產出給主管看的使用報告。
金鑰綁台幣額度,地端模型另有每人 token 額度,以每 5 小時、每 7 天為時段。用完的下一個請求就擋下,並寫明幾點恢復,一支寫錯的迴圈燒不掉整季預算。
機房裡的 GPU 上架後,與外購 API 走同一套計價與監控,自建比外購省多少,看同一份報表就知道。用的人變多時,可以在網頁上替同一個模型多開副本或換大一點的 GPU 規格;也能開自動擴充,GPU 利用率持續偏高就加副本、偏低再減回,每次加減都留紀錄。
一般使用者只要前兩區就能開始工作;後四區是管理員把上游、帳號、算力與既有 API 接進來的地方。
進來先看到自己的餘額、最近用量與可用模型清單。哪顆模型還有額度、上次呼叫失敗在哪,第一頁就講完。
第一步領金鑰、選模型、複製範例程式,貼上就能跑。金鑰只顯示一次,之後只看得到指紋與可用範圍。
第二步管理員加入外購 API 或自家端點,設定價格與權重。同一顆模型可以掛多個來源,一邊掛掉自動走另一邊。
管理員建使用者與部門、指定部門主管。主管登入後只看得到自己的部門,自己替每位工程師分 token 額度,不必事事找管理員。
管理員把機房的 GPU 機納管,一鍵上架自家模型。每張卡可以整張用、分時共用或做 MIG 切割,可切的規格由主機實際回報,支援 RTX PRO 6000 SE、H200、B300;切片分配圖看得出每格給了哪個模型、記憶體用多少。
自建算力自家或第三方的既有 API 也能收進同一個入口,套用同一套金鑰、額度與稽核,不必為每支 API 各做一套控管。
延伸應用程式只接一個 OpenAI 相容入口,上游換供應商或改用地端模型都不用改程式;台灣需要的台幣計費、額度與治理都在這一層。
OpenAI 相容閘道由云碩自己開發,商用 API 與機房裡的推論服務都從這一層進出。額度檢查與記帳在同一層完成,額度用完的下一個請求一定擋得下。
正式版是離線安裝包,客戶主機不連外網也裝得好,授權綁定那台主機;每版出貨前重掃弱點,有可修補的 Critical 或 High 就不出貨。
金鑰只顯示一次、之後存雜湊,連線憑證以 AES-256-GCM 加密。第一次開機就是 https,正式憑證在網頁上換,套用失敗自動換回;管理員登入要兩步驗證。
校內 AI 平台跑的就是正式版:三張 RTX 6000 Ada,一張提供全校 AI 服務、兩張給教學,老師全程在網頁上操作。云碩自己機房的 GPU 也由它管。
直接接的問題不在技術,在治理。金鑰散在各專案裡、沒人知道誰花了多少、換供應商要改一輪程式碼、地端模型與雲端 API 兩套管法。xStudio 把這些收成一個入口:金鑰集中發放、用量逐筆記錄、供應商在後台切換、自建與外購同一套報表。
會,所以同一顆模型可以掛多個上游來源並設定權重,一邊失敗自動走另一邊。閘道本身無狀態,可以多起幾份掛負載平衡。地端部署時還可以保留直連上游的緊急路徑。
凡是 OpenAI 相容的端點都接得上,包含主流商用 API 與機房裡自架的推論服務,云碩機群裡的地端模型就是這樣掛上去的。非相容的自家 REST API 走「API 納管」那一區。
以供應商公布的每百萬 token 單價為基礎,乘上實際用量,再依當日匯率換算台幣。匯率來源與換算時點都記在紀錄裡,可以回溯。自建模型則按 GPU 時數攤提,攤提方式由管理者設定。
在算力平台那一區指定 GPU 機與模型檔,平台起推論服務並註冊成一個可呼叫的模型名稱。上架後與外購 API 在使用端看起來一樣,開發者不需要知道它跑在哪張卡上。
對話頁與模型測試台會直接顯示目前幾人使用中、預估要等幾秒,使用者送出前就知道;管理者在總覽看得到每個模型的即時負載。上線前可以先跑壓力測試,平台依設定的人數階梯逐階加壓,量出首字時間與失敗率,標出可接受的人數上限,報告可以存成 PDF。人數超過上限時,就替這個模型加 GPU 資源或開自動擴充。