01模型選擇
模型測試與選型
用企業實際需要處理的問題和文件，評估候選模型。
比較回答品質、處理速度與設備需求，決定採用的模型及是否需要調整。
03 Firmground AI Infra
企業模型部署與管理
按業務用途、現有設備及資料要求選擇模型，安排部署和日常運行。支援需要在企業內部使用 AI 的團隊。
AI Infra流程示範
輸入01 / 04
選擇模型與運行環境
MODELLLM / InferenceRUNTIMEGPU · ContainerENDPOINT/v1/chat/completions
模型部署流程
- 01
確認需求
了解使用人數、工作內容、現有設備及資料要求。
- 02
測試模型
使用具代表性的文件和問題，比較模型效果。
- 03
安排部署
確認模型運行位置、使用範圍及應用連接。
- 04
運行維護
查看服務狀態，處理問題，安排版本更新。
常見挑戰
模型效果需要驗證
通用示範未必反映企業實際文件與任務的效果。
資料有存放要求
部分文件需要在指定環境處理，並限制使用範圍。
服務需要持續維護
使用量和模型版本變更後，需要重新確認服務表現。
02企業部署
內部環境部署
按企業的資料存放和存取要求，安排模型與相關服務的運行位置。
規劃使用帳戶、文件範圍和業務系統連接，完成後進行使用驗證。
03日常管理
運行狀態與版本管理
查看模型服務的使用情況，了解請求是否正常處理及是否需要調整資源。
更新前使用相同的工作資料確認效果，記錄版本和維護安排。