由左到右:設備怎麼接進來、管理者怎麼換模型、平台在哪一步擋住。准入試算是這張圖的重點。
統一記憶體的機型把顯示記憶體與系統記憶體算在一起,模型吃太多,拖死的是整台機器。這件事要在載入前擋,不是當掉之後再重開。
載入前先算「載下去之後最壞還剩多少」,不夠就擋下來並說明差多少,同時給跑得動的路:換小一號、縮短上下文,或部分放到 SSD。
統一記憶體分給 GPU 與系統的方式各家不同,平台分成三種架構各自計算;Windows 筆電與 Mac 不夠時會改用硬碟頂著,底線跟著放寬,不會一律擋死。
加一台機器、換模型、綁哪張卡、換憑證、看紀錄都在網頁上,不必登進每一台機器各改一次設定檔。介面有繁中、英文、日文、韓文四種。整機出貨給客戶時,單位名稱與 Logo 也能在網頁上換成客戶自己的,登入頁、頁首與瀏覽器分頁一起改。
誰在用、用了多少、擋下幾次,彙整成給主管看的服務使用報告,一行指令產出。
導覽照使用的先後排:先挑模型、再啟動,接著對話、交代 Agent、畫圖;設定與紀錄放最後。
一般電腦下載安裝檔點兩下就裝好,Windows、macOS、Linux 都有;多台機群在網頁上產生一次性安裝指令,貼到那台執行就納管。
第一步依這台的記憶體與頻寬推薦模型,每顆標出流暢、勉強、要用硬碟或跑不動與預估速度;也可以貼線上模型網址下載,或讀進電腦裡已有的模型檔。
第二步載入前試算最壞情況的餘裕,低於底線就擋,多張卡逐張卡各算各的。放不下時自動規劃哪些放顯示卡、哪些放系統記憶體、哪些放 SSD。
核心選好模型按「啟動」,讀取、預熱的進度一路看得到;跨引擎在同一個埠切換,應用端不必改設定,失敗整組還原。
日常模型啟動後直接在網頁上對話,可以附文件、在對話裡畫圖;Agent 在指定的資料夾裡做事,每條指令都要人按允許;看得懂圖的模型還能操作這台的滑鼠鍵盤。
應用誰換了哪一顆、擋下過幾次、每台機器的餘裕變化,都留得下來並彙整成月報。
維運這套原本是云碩自己管機群用的,現在賣統一記憶體 AI 機時直接附。以下是目前已經實作的部分。
一般電腦裝桌面版,點兩下就好,關掉視窗模型照常服務;十台的機群用同一套主控台納管,不必換系統。
兩張 RTX PRO 5000 上跑跨兩張卡的 128B 模型,每張卡只剩不到 2 GB。這種已經在跑的模型重啟時不能被擋——准入規則就是在那裡修出來的,並補進回歸測試。
支援匯入 PFX、PEM、P7B 與產生 CSR,熱套用不重開機;主控台連各機代理也走 https 並驗證對方憑證。線上更新先核對官方公布的校驗碼才安裝。
畫圖與做影片走同一套准入。在 AI 395 上實測,一張 1024×1024 的圖 53 秒,產圖前試算的記憶體與實際最高用量差不到 1 GB。
值得。單機照樣有准入控制與網頁管理,一般電腦裝桌面版點兩下就好;第二台、第三台進來的時候不必換系統。
統一記憶體的 AI 小主機是主要對象,包含 AMD AI 系列、NVIDIA Jetson 系列與 DGX Spark 系列;一般的 Windows、macOS(Apple Silicon)、Linux 電腦與多卡伺服器也能裝,多卡逐張卡各算餘裕。
跨引擎在同一個埠切換,應用端不必改設定;載入失敗會整組還原回上一個可用狀態。
可以。電腦裡已有的模型檔直接讀進來,或貼上線上模型網址讓平台下載。政府與學校案我們一律建議選非中國來源的模型。
不用。模型檔先備妥的話整套可以離線運作,推理引擎也能在別台下載後匯入;只有線上下載模型那一步需要對外。
這個功能每台預設關閉,要管理者在這台的設定裡打開才能用,同一時間只跑一個任務。模型每一步先寫出要點哪裡、打什麼字,預設要人按允許才執行,按拒絕它會換個做法;隨時可以按停止,做滿 30 步或 15 分鐘也會自動停下。截圖只放在記憶體、不存檔;每個動作都寫進稽核紀錄,打字只記字數、不記內容。
桌面版安裝檔目前沒有程式碼簽章,Windows 對這類安裝檔第一次開啟時會跳出這個提示,不是偵測到病毒。安裝前可以先確認檔案是官方原檔:每個正式版的 GitHub 發布頁都附一份校驗碼清單 SHA256SUMS-desktop,在 PowerShell 執行 Get-FileHash 加上安裝檔名稱,算出的值和清單上那一行相同,就代表檔案沒被改過。確認後在提示視窗按「其他資訊」,再按「仍要執行」,就會進入安裝。