expert in AIoT system solution

Container × GPU × AI Pod Platform

AI算力平台-VIDAware容器化

以AI服務單元(Pod)為核心的彈性運行與即時調度中樞

以「AI容器化算力平台」為核心,將每一項AI模型、影像分析與事件推論服務,封裝為獨立AI服務單元(Pod),可依城市各場域的即時需求, 自動分派至不同GPU運算節點執行,實現即時擴展、不中斷運行、跨節點容錯的城市級AI運算架構。

算力離散

Idle resources / Unmanaged

VIDAware算力容器化系統重點摘要

VIDAware 算力容器化系統以「AI 容器化算力平台」為核心,將每一項 AI 模型、影像分析與事件推論服務封裝為獨立的 AI 服務單元(Pod),依城市各場域的即時需求自動分派至不同 GPU 運算節點執行,實現即時擴展、不中斷運行與跨節點容錯。管理營運層支援多租戶算力 Token 計費、SSO/OIDC 與 API Key 身分驗證、TLS 全程加密、Namespace+RBAC 多租戶隔離,以及 Email/Line/SMS 即時告警。

VIDAware算力容器化系統架構

彈性 Container × GPU × AI Pod 架構

VIDAWARE × AI Pod 編排

多來源串流 → AI Pod → 動態調度 GPU 資源

輸入串流
主Pod
備用Pod
來源會自動拋送 → Pod排程 → GPU最低負載優先
GPU伺服器1
CUDA
DEEP_LEARNING(深度學習)
18%
GPU伺服器2
CUDA
GENERAL_COMPUTE(通用計算)
29%
GPU伺服器3
CUDA
EDGE_INFERENCE(邊緣推理)
44%
GPU伺服器4
CUDA
VIDEO_TRANSCODE(影片轉碼)
57%
GPU伺服器5
CUDA
MODEL_SERVING(模型服務)
68%
GPU伺服器6
CUDA
BATCH_INFERENCE(批量推理)
83%

管理營運層:商業化與安全

不同租戶(Tenant)之間的數據安全,並支援基於算力Token的商業模式。

多租戶算力Token計費

統計各專案的資源用量,轉化為Token扣點。 圖表展示了主要租戶在不同服務上的Token消耗情形

Face Recog License Plate Event Detect
身份驗證與安全

SSO / OIDC、API Key 管理、TLS 全程加密。

多租戶隔離

Namespace + RBAC,確保租戶間資源完全隔離。

即時告警系統

Email / Line / SMS 自動告警。

常見問題

什麼是 VIDAware 算力容器化?

將每一項 AI 模型、影像分析與事件推論服務封裝為獨立的 AI 服務單元(Pod),再依各場域即時需求自動分派到不同 GPU 運算節點執行。

GPU 資源如何調度?

多來源串流進入後由系統自動拋送至 Pod 排程,並以 GPU 最低負載優先分配;當主 Pod 異常時可切換至備用 Pod,維持服務不中斷。

多租戶如何計費與隔離?

系統統計各專案資源用量並轉換為算力 Token 扣點;租戶間以 Namespace+RBAC 隔離資源,並支援 SSO/OIDC、API Key 管理與 TLS 全程加密。

系統異常時如何通知?

即時告警系統支援 Email、Line 與 SMS 自動告警。