建模與估計(第二版) 節選

緒論 0.1 估計理論的發展過程和估計問題的分類 當今時代是信息時代，是知識爆炸性增長的時代。近三十年來，現代科學技術飛速發展。一方面，各門學科不斷分化，分支學科越來越多，各種新詖學科和新領域不斷出現；另一方面，各學科和領域之間又不斷相互滲透、相互交叉，不斷產生許多新的邊緣學科和領域。邊緣學科和領域是富有生命力的。本書《建模與估計》(modeling and estimation)的內容、理論體系和基本框架是在這種背景下確定的。它涉及系統辨識(system identification)、狀態估計(state estimation)、時間序列分析(time series analysis)、多傳感器信息融合(multisensor information fusion)四門學科及它們相互交叉、相互滲透的邊緣學科和領域。 模型(model)是對事物、現象、過程或系統的簡化描述或模仿。有物理模型、數學模型、仿真模型等。定量描寫系統或過程的輸人輸出關系、因果關系、動態和靜態特性的模型叫數學模型。建立模型的過程叫“建模”（modeling）通常建模是一項十分復雜而困難的工作。例如，有些建模需要深入掌握系統或過程內在變化的機理，對有些過程的機理人們尚來認識清楚，而對有些過程的機理又過于復雜，必須進行適當的簡化處理。在建模中，除了需要系統或過程的機理知識外，觀測或實驗數據是*基本的依據。通過觀測或實驗數據建模稱為“辨識”(identification)。建立一個數學模型通常包括兩方面工作：一是模型結構的確定(包括模型的類型和階次等），二是模型的參數估計。本書僅討論模型參數估計問題。建模是對系統或過程進行分析的*重要的、*基本的方法論。人們通過對時間序列建模來實現對時間序列的預測和控制[1]，通過建模實現對隨機信號的估計，通過建模實現系統的狀態估計，通過建模實現過程控制。 估計理論所要解決的基本問題是：如何從被噪聲污染的觀測信號（觀測數據）中盡可能充分地濾除干擾噪聲的影響，在某種意義下求得被估信號的*優估計。由于干擾噪聲和被估信號都電能是隨機信號，因此只有采用統計學方法才能解決問題。估計理論的眷期工作是1795年髙斯(C.F.Gauss)在研究天體運動軌道間題時提出的*小二乘法參數估計方法，至今在理論和應用上仍富有生命力。現代估計理論是由維納[5](N.Wiener)和柯爾莫哥洛夫（A.N.Kolmogorov)在20：世紀40年代開創的，他們獨立地進行了相似的開創性工作，即提出了Wiener濾波理論，解決在*小均方誤差意義下的平穩隨機信號*優估計問題。到60年代初，由于計算機應用技術和空間技術發展，卡爾曼[4]CR.E.Kalman)提出了狀態估計理論(也稱Kalman濾波理論沁解決了多變量、非平穩隨機信號或狀態*優遞推估計問題。70年代以來，由于現代電子和憧息戰爭的需要，一門新興的邊緣學科——多傳感器信息融合逐漸形成，目前巳發展成為備受人們關注的熱門領域[7]。信息融合估計是它的一個重要分支和領域。將狀態估計與時間序列分析相互滲透，文獻[8]？[11]提出了*優濾波新的方法論——現代時間序列分析方法。它以時間序列自回歸滑動平均（ARMA)新息模型和白噪聲估計理論作為基本工具解決狀態或信號估計問題。基于該方法提出了新的多傳感器信息融合Kalman濾波理論[3]，且對含未知模型參數和噪聲統計系統，與系統辨識相交叉，提出了自校正濾波和自校正信息融合濾波理論[11]，其中提出了收斂性分析新方法和新工具。 本書研究的估計問題可分為五類：模型參數估計，時間序列、信號或狀態估計，多傳感器信息融合估計，自校正信號或狀態估計，自校正信息融合信號或狀態估計。從估計的精度或性能來看，估計可分為*優估計、次優估計和自校正估計。*優估計是相對的，是針對一定的性能指標而言的。例如，“*小二乘法”估計、線性*小方差估計、加權*優融合估計等。在一種性能指標下的*優估計可能是在另一種性能指標下的次優估計。自校正估計也叫漸近*優估計，是指估值器在一定意義下收斂于相應的*優估值器，用于解決含未知模型參數和白噪聲方差系統的狀態或信號估計問題或融合估計問題。在多傳感器信息融合領域，*優估計可分為全局(整體)*優估計和局部*優估計。對于全局*優估計而言，局部*優估計是次優的。 此外，還有自適應估計和魯棒估計問題，這些問題超出本書范圍。 0.2 模型參數估計問題 **類*優估計問題是模型參數估計問題。建立數學模型是對時間序列、信號或系統狀態進行估計的基礎。模型參數估計的*基本的方法是*小二乘法（least squares method)。由于它的原理直觀，算法簡單，收斂性能好，且不要求先驗的統計知識，因而被廣泛應用。*小二乘法的基本原理是實際觀測值與模型計算值的誤差的平方和*小原理，由此得名“*小二乘”法。*小二乘法原理的啟發性例子如下。 【例1】快速動態橢圓檢測[12]。 在圖像處理、機器人等領域，需要對運動圖像中的橢圓曲線進行快速檢測，這個問題類似于當年高斯提出用*小二乘法確定天體運動軌道。幾何上這個問題歸結為確定其標準型的五個參數，即橢圓中心位置，長短軸a、b和旋轉角，見圖1所示。 橢圓和其他二次曲線方程的一般形式為 (0.1) 為了確定橢圓方程的未知參數，如果能精確地檢測到橢圓曲線上五個點的坐標，則將它們代人式(0.1)即可得五個方程，解線性方程組即可得橢圓參數，然而通常檢測橢圓上的點的坐標是帶有測量誤差的，通常是微小的隨機誤差，用上述方法只能粗略地得到橢圓參數，為此人們希望利用橢圓曲線上更多的點的坐標的檢測得到較精確的橢圓參數估計。設巳知橢圓上N個點的坐標的檢測值(含有檢測誤差），i=l，2， ，N，將每組檢測值代入式(0.1)，則有方程誤差，即 (0.2) 方程誤差是由于對橢圓上點的坐標的檢測誤差引起的。通常N遠大于5。*小二乘法原理就是用極小化方程誤差的平方和來確定未知楠圓模型參數，即它們極小化性能指標 圖1 橢圓曲線和檢測點 (0.3) 由極值原理，置/關于各參數的偏導數為零，即 (0.4) 可得關于的線性方程組，從而可解出，進而由有關公式可立刻求出標準型楠圓參數。 【例2】對一個未知長度為0的物體進行JV次測量，設每次測量物體長度為，我們來求真實物體長度的估值。設每次測量誤差為，則有關系 (0.5) *小二乘法是選擇的估值極小化測量誤差平方和，即 (0.6) 置J關于的偏導數為零，即 (0.7) 則有的*小二乘法估值為 (0.8) 這是N次測量結果的算術平均值，與常識是一致的。 0.3 時間序列、信號、狀態估計問題 第二類*優估計問題是時間序列、信號或狀態的*優估計問題。時間序列分析（time series analysis)是概率統計學科中的一個重要分支，廣泛應用于氣象、水文、金融、經濟、信號處理、通信和控制領域。時間序列分析的經典著作是G.E.P.Box和G.M.Jenkins的《Time Series Analysis，Forecasting and Control》[1]一書。經典時間序列分析的主要內容是對時間序列的建模及基于時間序列模型對時間序列進行預報和控制。依離散時間順序排列的觀測數據序列，叫時間序列。例如，某地降雨量時間序列，我國國民經濟年增長率時間序列，按天記股票價格時間序列，按秒采樣導彈位置時間序列等。這些時間序列的取值均帶有隨機性，因而叫統計時間序列。 由時間序列目前和過去的觀測歷史預報估計它的將來值叫預報，例如，氣象預報(包括氣溫、降雨、降雪、沙塵暴等預報），水文預報(包括水位、洪峰、河流流量預報等），經濟預報(包括商品銷量、產量、經濟指標、股市行情預報等），過程控制、目標跟蹤、制導中的預報（包括溫度、壓力、體積、流量、產量、位置、速度等的預報）。在控制領域有一個新分支叫預測控制，就是以預報作為基礎的控制理論。 這里*優預報是指線性*小方差預報，即*優預報器是已知觀測數據的線性函數，且極小化預報誤差方差。 重要的*優預報方法有Box-JenkinS[1]的遞推預報方法和Astr6m的預報方法，其中Box-Jenkins遞推預報器應用*廣泛，但在理論研究中Astr6m預報器應用較多。 除了時間序列*優預報外還有信號和狀態估計，也稱*優濾波。 從被噪聲污染的觀測信號中，過濾噪聲，求未知真實信號或狀態*優估值叫濾波。“濾波”這一術語*初來自無線電領域。 1941年，在第二次世界大戰期間，以研究火炮打飛機控制系統為應用背景，控制論創始人Wiener[6]提出了信號的Wiener濾波理論。經典Wiener濾波方法是一種頻域方法，其局限性是限于處理平穩時間序列的濾波、預報問題。缺點是不能處理多變量、時變、非平穩時間序列，且算法是非遞推的，要求存儲全部歷史數據，不便于工程應用。但自1979年以來流行的現代Wiener濾波方法——多項式方法[2]可處理多維非平穩時間序列濾波問題。 【例3】Wiener濾波問題。 典型的Wiener信號濾波問題如圖2所示。其中未知真實信號S(t)被觀測噪聲V(t)污染，因而已知觀測信號y(t)，即 (0.9) 問題是如何由觀測信號中，過濾噪聲，在線性*小均方誤差準則下，設計Wiener濾波器，它是的線性函數，且極小化均方誤差，其中E為均值號，為濾波誤差。 圖2 信號Wiener濾波問題 圖3 信號的Wiener濾波 1960年，美國數學家和控制論學者Kalmar針對Wiener濾波理論的上述缺點和局限性，以及電子技術和計算機應用技術發展的需要，提出了Kalman濾波理論（狀態估計理論）。Kalman濾波方法是一種時域方法，它基于狀態空間模型和射影理論解決狀態估計問題。Kalman濾波算法是遞推算法，便于在計算機上實現，且可處理多變量、時變、非平穩時間序列濾波問題，克服了Wiener濾波理論的局限性。Kalman濾波被廣泛應用于各種領域，如慣性導航、制導、GPS定位、0標跟蹤、通信、信號處理、控制等。在Kalman濾波理論中，系統狀態可視具體問題來規定和定義，特別信號也可視為狀態或狀態的分量，因而Kalman濾波也可解決信號濾波問題。阿波羅登月計劃和C-5A飛機導航系統的設計是Kalman早期應用中*成功的實例。 在20世紀60年代初由于電子計算機運算速度和存儲量的限制，要求能實時、快速實現濾波算法，要求存儲量小、計算量小的濾波算法。滿足這些要求的算法就是遞推濾波算法。以例2動態測量長度為的物體為例，記基于N個測量值對的估值為 (0.10) 當測量次數N不斷增加，即進行動態測量時，則基于N+1個測量值對的估值為 (0.11) 這種計算是非遞推的，即彼此獨立地計算估值和。當N很大時，計算量增加，而且計算量增加，而且計算有重復的加法運算。為了減小計算負擔，是否能在基礎上來計算?這就是遞推算法的思想。事實上， (0.12) 即有遞推公式 (0.13) 因而在估值的基礎上，只需計算式(0.13)第二項就立刻得到估值，避免了非遞推算法(0.11)的重復加法運算，大大減小了計算量和存儲量。對于非遞推算法，計算機需存儲N+1個測量數據，而對遞推算法(0.13)，每次測量僅需存儲兩個數據和就可實現估值的計算。在(0.13)中第二項為校正量，它是根據誤差 (0.14) 的大小來進行校正估值的。因為估值包含了前N次測量的信息，而是第次測量值，估值誤差包含了從第N+1次測量中去掉了前N次測量