從類比視訊到數位視訊的轉化，為安全系統帶來了期待已久的優勢，主要原因是數位壓縮將能傳送和儲存更多的影像資料。不過，新的優勢仍是來自於價格。數位視訊鼓勵部署更多的相機，但這需要更多工作人員監控相機。而將視訊訊號儲存起來則可減少需要瀏覽的視訊數量，因為壓縮演算法中使用的運動向量和檢測器可用來刪除沒有顯著活動的訊框。然而，由於運動向量和檢測器不能提供正在發生何事的任何資訊，因此，仍需有人實際篩選擷取的視訊，以確認可疑行為。

有鑒於此，業界迫切需要開發能夠提高安全和監控視訊監視效率的方法。視訊內容分析(VCA)也稱為視訊分析器，可用電子學方法識別一串訊框中重要的特徵，在發生特定類型事件時能讓系統產生警告，加速即時安全系統的回應速度。VCA可在擷取的視訊中自動搜尋特定內容，將人們從長時間的瀏覽工作中釋放出來，並減少需要人工篩選的相機視訊數量。

VCA技術正在發展，預計不久的將來就會得到廣泛應用。但VCA必然會要求大量的處理能力，以便在龐大的視訊畫素資料流程中識別出感興趣的目標。另外，VCA系統必須是可編程的，以滿足應用的各種變化、識別不同的內容，並適應不斷演進的演算法。最新的視訊處理器具有強大的性能和編程靈活性，完全能滿足壓縮、VCA和其他數位視訊要求。用以輔助處理器的軟體平台和工具則可簡化安全和監控產品的開發。隨著VCA技術的發展，它們很容易成為實用技術。

VCA運作流程

目前VCA國際標準仍未出現，以下提供了通用的VCA流程：

1. 一個很長的序列被分割成幾個單獨的場景或快照。由於不同的場景具有不同的直方圖或色譜分佈，因此如果某個訊框的直方圖與前一訊框有很大的變化，那麼可以視為場景產生了變化。

2. 由於前景與靜態背景是分開的，因此場景中的前景物件變化可以被檢測出來。

3. 個別前景物件被擷取或分割，然後逐訊框地追蹤。追蹤過程涉及檢測物件的位置和速度。

4. 如果有必要進行識別，可以擷取物件的特徵，並進行物件分類。

5. 如果目前事件是感興趣的事件，就向管理軟體和/或相關人員發送警告。

前景/背景檢測

VCA可檢測前景變化所代表的活動，這些活動通常是相對於靜態和不感興趣的背景。過去，前景/背景檢測在運算量上是受限的。如今，更高性能的數位訊號處理器和視訊處理器可用來執行更複雜的檢測演算法。

通常有兩種前景/背景檢測方法：一種是非自適應方法，它只使用一些視訊訊框，並不維護背景模型；另一種是自適應方法，它始終維護著一個隨時間不斷演變的背景模型。在自適應VCA演算法中，VCA流程中第2步到第4步的反饋可以用來更新和維護背景模型，這個模型再作為第1步的輸入。

非自適應檢測

在最簡單的非自適應情況下，目前訊框中的每個畫素減去前一訊框中的對應畫素就能確定絕對差值。畫素的絕對差值再與預先確定的閾值進行比較。這個閾值代表的是對場景中和來自成像器的雜訊補償過後的‘零’電平。如果絕對差值超過了這個閾值，對應畫素就屬於前景。否則，畫素就屬於背景。

在受控環境中對視訊物件的短期追蹤和識別可以只使用三個訊框實現。即使這樣，非自適應方法也只適用於高度受控、視訊場景不會有顯著變化的短期追蹤應用領域。當發生場景或背景變化時，需要人工進行初始化。如果不進行初始化，隨著時間積累的誤差會使檢測結果很不可靠。

自適應檢測

由於非自適應方法的侷限，自適應前景和背景檢測在VCA應用中正獲得越來越廣泛的採用。自適應檢測方法維護著一個背景模型，該模型需要透過混合每個新視訊訊框的資料進行不斷更新。與非自適應方法相較，自適應方法要求更強的處理能力，而且背景模型的複雜度會改變。在基本的自適應方法中，演算法會透過在目前訊框中逐畫素地減去背景模型來確定前景(而非自適應演算法採用的每訊框進行減算)。結果也反饋進模型，使模型不需要重定就能適應不斷變化的背景。這種方法非常適合目標不斷移動或背景雜訊持續相當長時間的視訊監控領域。

更複雜的前景/背景檢測則採用統計背景模型，其中指定訊框中的每個背景畫素被建模為一個符合高斯分佈的隨機變數。每個單獨畫素的平均和標準偏差會根據每訊框的視訊資料隨時間改變。

物件追蹤/識別

在完成前景/背景檢測後，將製作出一個模板。由於存在著環境雜訊，單一目標物件的所有組成部份可能沒有連接起來，因此，在將所有組成部份連為一個整體物件之前，必須實現一種形態擴張的強化型運算處理。擴張涉及在模板上強加一個柵格，在柵格的每個區域計算出前景畫素，並點亮在計數指示應該連接獨立物件的每個區域的其餘畫素。在擴張和組成部份連接後就可以得到每個物件的邊界盒。這個盒代表了包括完整物件的最小矩形，它可能出現在不同的訊框中，因而實現分割。

物件追蹤

追蹤分割後的前景物件共有三個步驟：預測目前訊框中每個物件的位置，確定哪個物件能最好地匹配其描述，並校正物件軌跡以預測下一訊框。第一和第三步是透過Kalman遞迴濾波器完成的。由於在單個訊框中只能觀察到物件的位置，因此有必要使用矩陣運算方法即時計算出它的速度和下一個位置。

在整個過程的起始之際，濾波器被初始化到相對於背景模型的前景物件位置。針對每個內部物件被追蹤的訊框，濾波器會在後續訊框中預測前景物件的相對位置。當場景轉到後續訊框時，濾波器就能定位物件並校正其軌跡。

追蹤的第二步是資料關聯，它根據特徵的相似性確定訊框之間的物件相關性。物件尺寸、開關和位置能夠以邊界盒和訊框到訊框之重疊為依據。速度是開爾曼濾波器要預測的一個參數，直方圖將不同的物件與其顏色關聯起來。然而，任何或所有這些特徵都可能改變。

考慮這樣一種情況，一個有著紅色駕駛室的白色卡車非常靠近沿街的相機，這時它駛入車道，掉頭並向相反方向駛去。物件的所有特徵在整個場景中在不斷發生變化：大小、開關、速度和顏色。軟體必須能夠適應這種變化，以便準確識別卡車。另外，當多個物件被追蹤時，軟體必須能夠分別出它們之間的特徵。

分類功能

追蹤的複雜性將導致與物件分類相關的問題。例如，一個物體透過相機前面的一條線比一個人透過那條線更容易使系統發出警告。物體的尺寸和速度可以提供用於粗略分類的向量，但更精細的分類需要更多的資訊。較大的物體可提供更多畫素資訊，但對快速分類來說可能顯得太多。在這種情況下，需要採用尺寸減少技術來實現即時回應，即使後面的調查仍可能使用儲存訊框中的全畫素資訊。

除了物件分類外，高效的VCA實現還必須克服許多挑戰。這些挑戰包括了黃昏、水面、雲層、颳風下雨、雪和霧等導致的光線變化；而若追蹤的物件路徑是交叉的，將導致每個前景畫素暫時合併，然後又分開；另外還包括在多相機系統中追蹤不同視窗的物件。解決這些問題仍然需要VCA執行大量任務。

VCA系統設計

要實現VCA和視訊編碼，需要高性能處理器和各種配置。新分析技術則要求編程的靈活性。設計師可以使用整合了最高性能及可編程DSP與RISC微處理器核心的處理器和視訊硬體協處理器來滿足這些需求。合適的處理器還需要整合高速通訊週邊設備和視訊訊號鏈，以減少系統元件的數量和成本。

這種高整合度解決方案將VCA整合到相機，提供了極具強韌性和高效能產品，且適合網路應用。VCA軟體也能被整合進電腦中，使電腦成為多個相機的集中處理設備。除了VCA流程本身外，可能還需要預處理步驟，用於在前景/背景檢測和其他分析步驟之前處理去交織。

應用軟體可能要增加用於物件識別或其他目的的處理步驟。單處理器和雙處理器設計版本都能為新增的軟體功能提供足夠的處理能力。

將前景物件從背景中分離出來、追蹤物件、必要時分類可疑活動的自適應方法步驟是VCA的全部內容，這需要高度的即時處理運算和自適應能力。基於DSP的視訊處理器提供了VCA和視訊編碼所需的性能，並具有高度的編程靈活性，可適應應用要求和技術的不斷變化。

而所有這一切，都將視訊安全性推升到了全新的水準。