智慧城市是一個生態系統。作為整個生態系統，最關鍵的就是感知這一塊，所謂感知就是通過傳感器網或者物聯網，把數據收集起來。在這個基礎上再做一些分析和存儲。存儲和分析是這個生態系統中比較重要的環節。

　　視頻編碼與分析的技術挑戰

　　在編碼效率方面，大家可能知道，到現在為止，所有視頻系統里面用的都是非常常規的，通用的視頻編碼的算法和芯片。這個用法對不對呢？實際上這是不對的，但是現在已經形成這種習慣了，都是這么用的，你不這么用，人家反倒會質疑你。當然從市場化、從減小成本這個角度來說它是對的。但是從視頻監控的目的來看，實際上是不對的。因為那個通用的編碼技術，它是為電視服務的，本身它這個出發點就是錯的。

　　目前視頻的自動分析做得不好。因為它在系統設計的時候，不是為了視頻自動分析這個目的，而是為了視頻存儲和以人為核心的視頻跟蹤，就是一定要有一個人坐在那里看那個大的顯示屏?？窟@樣的一套指導思想來設計現有的智慧城市里面的視頻系統，用這樣的一個架構去做自動分析，是根本無法實現的。

　　隨著時間的推移，監控視頻的數據占整個大數據的比重基本上都在一半或者一半以上這樣一個數量級。所以數據的存儲和處理做好了，大數據的問題就解決了大部分?，F在這些大數據之所以沒有有效的利用起來，里面很多知識還沒有歸納總結出來，也是和現有的數據積累過程，以及這個系統設計的出發點是有關聯的。

　　針對這些問題，我們要找到一個技術上的切入點來處理。這個切入點，要更多的看目前智慧城市里急需的到底是什么。實際上就是急需事件的追蹤。例如說，有一個人報案，說某家銀行被搶了，劫匪坐了一輛白色的車跑掉了，你有沒有辦法在比較短的時間內查到這輛車的位置。

　　智慧城市中視頻技術面臨的挑戰，就是我們現在面臨的三大問題，一個是監控視頻的數據存不下，一個是查不準，一個是擋不住。如果我們把這三個問題梳理一下，從技術上來說就是，一個是編碼的問題，一個是視頻分析與跟蹤的問題，融合起來還有跟GPS、音視頻結合起來使用的問題。

　　如果我們把它歸納為技術挑戰，那就是兩個挑戰，一個是高效視頻編碼的挑戰，當然是面向監控視頻的。第二個就是如何對分析和檢索進行支持。如果大家對視頻編碼和視頻分析稍微熟悉一點的話，你會發現一個很奇特的現象，就是做視頻編碼的人對視頻分析不感興趣，或者說不太做。反過來，做視頻分析的人對編碼怎么編，基本上做的也不多。為什么會出現這樣的情況？做編碼的人處理的對象是像素和塊，而做分析的人面對的是特征。這兩個一個是踩在地面上，一個是在山頭上，所以這兩伙人很難交匯。我們現在是希望解決這個問題，因為必須把這兩個事一起來做，你才可能做成一個面向智慧城市的技術。

　　高效視頻編碼標準

　　從標準的歷史上來看，實際上前30年中，基本上所有的貢獻、所有的技術都是圍繞著通信領域的視頻編碼和廣播里面的視頻編碼做的，前期主要是面向廣播的視頻編碼。當然也有面向通信的視頻編碼，后來也出現了兼顧通信和廣播的視頻編碼，但是所有這些編碼都不是面向監控的。你可能會說，視頻通信不就是監控的一種嗎？有的專家就說，如果你要看現在的視頻監控，實際上它是發展了三代，第一代是模擬，第二代是數字，第三代是IP監控。這個IP監控是在網絡上，但是不是和編碼有針對性的，所以面向監控的編碼，目前國際上沒有人做這樣的標準，只有中國人在做。

　　目前的編碼框架一個是變換編碼，一個是預測編碼，還有一個是商務編碼，把這三塊組合起來，稱為混合編碼框架結構。這種編碼技術已經使用了30多年。中國從2002年開始，也組織了一個自己的標準，2006年第一版出來之后被ITUT接受為IPTV的一個格式。再后來被廣電和工信部聯合接受為我們國家地面數字電視機頂盒和地面數字電視一體機的標準，去年AVS的增強檔成了我們國家廣電的行業標準。去年我們為了把這個標準國際化，也專門在IEEE的標準化協會下面成立了一個AVS的工作組，目前這個工作組已經把第一版編碼所有的流程走完了。