云碩自主 AI · 邊緣設備 · 模型管理

小型 AI 設備的模型管理
載不下就先擋住

買了 AI 小主機之後最常發生的事,不是跑得慢,是載一顆太大的模型把整台拖死,連遠端登入都進不去。xConsole 在載入前先算清楚最壞情況還剩多少記憶體,不夠就擋下來並說明原因;挑模型、換模型、綁哪張卡、對話與畫圖,全部在網頁上完成。中原大學的兩張 RTX PRO 5000 就是用它管的。

3
種記憶體架構分開算
2
張卡的跨卡大模型實跑
0
要登進去改的設定檔
3
種作業系統都裝得起來
使用者操作流程

換一顆模型
八步走完

由左到右:設備怎麼接進來、管理者怎麼換模型、平台在哪一步擋住。准入試算是這張圖的重點。

xConsole 使用者操作流程圖
綠=設備接進來 藍=管理者操作 橘=平台把關 紫=平台輸出
核心價值

小機器的問題
不是慢,是當掉

統一記憶體的機型把顯示記憶體與系統記憶體算在一起,模型吃太多,拖死的是整台機器。這件事要在載入前擋,不是當掉之後再重開。

載不下就先擋住

載入前先算「載下去之後最壞還剩多少」,不夠就擋下來並說明差多少,同時給跑得動的路:換小一號、縮短上下文,或部分放到 SSD。

機型分開算

統一記憶體分給 GPU 與系統的方式各家不同,平台分成三種架構各自計算;Windows 筆電與 Mac 不夠時會改用硬碟頂著,底線跟著放寬,不會一律擋死。

全部在網頁上做完

加一台機器、換模型、綁哪張卡、換憑證、看紀錄都在網頁上,不必登進每一台機器各改一次設定檔。介面有繁中、英文、日文、韓文四種。整機出貨給客戶時,單位名稱與 Logo 也能在網頁上換成客戶自己的,登入頁、頁首與瀏覽器分頁一起改。

自己產得出報告

誰在用、用了多少、擋下幾次,彙整成給主管看的服務使用報告,一行指令產出。

六大功能區

從裝起來
到用模型做事

導覽照使用的先後排:先挑模型、再啟動,接著對話、交代 Agent、畫圖;設定與紀錄放最後。

安裝與加機器

一般電腦下載安裝檔點兩下就裝好,Windows、macOS、Linux 都有;多台機群在網頁上產生一次性安裝指令,貼到那台執行就納管。

第一步

推薦與下載模型

依這台的記憶體與頻寬推薦模型,每顆標出流暢、勉強、要用硬碟或跑不動與預估速度;也可以貼線上模型網址下載,或讀進電腦裡已有的模型檔。

第二步

准入試算

載入前試算最壞情況的餘裕,低於底線就擋,多張卡逐張卡各算各的。放不下時自動規劃哪些放顯示卡、哪些放系統記憶體、哪些放 SSD。

核心

換模型與綁卡

選好模型按「啟動」,讀取、預熱的進度一路看得到;跨引擎在同一個埠切換,應用端不必改設定,失敗整組還原。

日常

對話、Agent 與操作電腦

模型啟動後直接在網頁上對話,可以附文件、在對話裡畫圖;Agent 在指定的資料夾裡做事,每條指令都要人按允許;看得懂圖的模型還能操作這台的滑鼠鍵盤。

應用

紀錄與報告

誰換了哪一顆、擋下過幾次、每台機器的餘裕變化,都留得下來並彙整成月報。

維運
技術與現況

賣設備的同時
把管理工具一起給

這套原本是云碩自己管機群用的,現在賣統一記憶體 AI 機時直接附。以下是目前已經實作的部分。

一台筆電到十台主機

一般電腦裝桌面版,點兩下就好,關掉視窗模型照常服務;十台的機群用同一套主控台納管,不必換系統。

中原大學實際在跑

兩張 RTX PRO 5000 上跑跨兩張卡的 128B 模型,每張卡只剩不到 2 GB。這種已經在跑的模型重啟時不能被擋——准入規則就是在那裡修出來的,並補進回歸測試。

憑證與機密

支援匯入 PFX、PEM、P7B 與產生 CSR,熱套用不重開機;主控台連各機代理也走 https 並驗證對方憑證。線上更新先核對官方公布的校驗碼才安裝。

畫圖也先算再跑

畫圖與做影片走同一套准入。在 AI 395 上實測,一張 1024×1024 的圖 53 秒,產圖前試算的記憶體與實際最高用量差不到 1 GB。

常見問題

導入前,先把疑慮問清楚

只有一台設備,值得裝嗎

值得。單機照樣有准入控制與網頁管理,一般電腦裝桌面版點兩下就好;第二台、第三台進來的時候不必換系統。

支援哪些機型

統一記憶體的 AI 小主機是主要對象,包含 AMD AI 系列、NVIDIA Jetson 系列與 DGX Spark 系列;一般的 Windows、macOS(Apple Silicon)、Linux 電腦與多卡伺服器也能裝,多卡逐張卡各算餘裕。

換模型會不會中斷服務

跨引擎在同一個埠切換,應用端不必改設定;載入失敗會整組還原回上一個可用狀態。

可以換成我們自己的模型嗎

可以。電腦裡已有的模型檔直接讀進來,或貼上線上模型網址讓平台下載。政府與學校案我們一律建議選非中國來源的模型。

要不要連外網

不用。模型檔先備妥的話整套可以離線運作,推理引擎也能在別台下載後匯入;只有線上下載模型那一步需要對外。

讓模型操作電腦,安不安全

這個功能每台預設關閉,要管理者在這台的設定裡打開才能用,同一時間只跑一個任務。模型每一步先寫出要點哪裡、打什麼字,預設要人按允許才執行,按拒絕它會換個做法;隨時可以按停止,做滿 30 步或 15 分鐘也會自動停下。截圖只放在記憶體、不存檔;每個動作都寫進稽核紀錄,打字只記字數、不記內容。

Windows 第一次開安裝檔,跳出「已保護您的電腦」

桌面版安裝檔目前沒有程式碼簽章,Windows 對這類安裝檔第一次開啟時會跳出這個提示,不是偵測到病毒。安裝前可以先確認檔案是官方原檔:每個正式版的 GitHub 發布頁都附一份校驗碼清單 SHA256SUMS-desktop,在 PowerShell 執行 Get-FileHash 加上安裝檔名稱,算出的值和清單上那一行相同,就代表檔案沒被改過。確認後在提示視窗按「其他資訊」,再按「仍要執行」,就會進入安裝。

設備買了,總得有人顧

我們可以用貴單位現有的 AI 小主機,示範一次納管、准入試算與換模型。

填寫需求,安排展示 →