摘要

        論文結合石化企業的數據組織現狀和應用需求，提出了由數據轉換層、數據集成層和數據接口層組成的石化企業數據集成平臺的三層體系結構，三層體系結構的劃分使得數據集成平臺具有良好的開放性和可擴展性。設計了基于消息中間件、XML技術和適配器技術的數據集成平臺的技術架構。論文提供了一個石化企業數據集成平臺的整體解決方案，它對企業數據集成平臺的建立具有很大的指導意義。

1 引 言

        過去的10年，是信息技術大踏步進軍石化領域的10年。石化行業的計算機應用經歷這十幾年的不斷發展，已經建設了大量的應用系統，如實時數據管理系統、生產調度管理系統、計劃優化排產系統、質量管理系統、綜合統計系統、設備管理系統、財務管理系統、銷售管理系統、物資供應管理系統、計量管理系統等等。受當時的技術、資金和觀念認識的限制，這些系統基本上是采用按需設計，獨立開發或獨立引進的方式實施的，系統與系統之間缺乏統一規劃，造成了今天企業“信息孤島”林立的局面。表現在數據組織方面就是：數據與應用系統緊密聯系在一起，依賴的硬件平臺、采用數據庫管理系統各不相同，數據模型、數據結構、數據的表現形式也不盡相同，它們構成了企業的異構數據源。

         隨著企業生存環境的不斷變化和CIMS、敏捷制造及虛擬企業等以信息化為特征的先進制造技術的不斷涌現，企業越來越需要集成異構數據源，實現數據共享以推進先進制造技術在企業的應用和實施。為此科研機構和企業投入了大量的精力和人力研究異構數據的集成問題，提出了一系列的解決方案。比較常見的集成方法有：聯邦數據庫#數據倉庫、數據訪問網關和基于知識的信息集成等。論文通過對上述集成方法的研究，結合石化企業數據管理的現狀和未來的應用需求，設計了面向MES的數據集成平臺，通過該平臺可以將企業與生產相關的各類數據資源進行整合，對企業現存的異構數據提供統一的表示、存儲和管理，滿足MES系統的數據需求。

2 石化企業MES數據集成需求

    2.1 石化企業MES數據組織現狀

        制造執行系統（Manufacturing Execution System）是美國管理界90年代提出的新概念。MES國際聯合會對MES的定義是：MES能通過信息傳遞對從訂單下達到產品完成的整個生產過程進行優化管理。MES的關鍵是強調整個生產過程的優化，在優化的過程中，它需要收集和處理計劃部門下達的生產計劃數據及生產過程中產生的大量的實時數據，并對實時事件及時處理。即MES要與計劃層和控制層保持雙向通信能力，從上下兩層接收相應數據并反饋處理結果和生產指令。作為計劃層和控制層的銜接層，它的地位非常重要，它所管理的數據正好彌合目前企業普遍存在的計劃層和控制層的數據狹縫。

        從企業應用系統體系結構看，MES作為面向制造的系統必然要與企業其它生產管理系統有密切關系，MES在其中起到了信息集線器的作用，它相當于一個通訊工具為上層應用系統提供生產現場的實時數據，為下層系統提供指令數據。因此MES層管理的數據必須是統一的無二義性的且易于交換和共享。但是目前企業采用的數據組織方式有孤立的數據組織方式和自然演化的數據組織方式，這兩種方式都很難滿足上述要求。

        在孤立的數據組織方式下（參見圖1），數據資源是為某個特定的應用系統而組織。數據被各個應用系統獨享，數據與數據之間彼此隔離，互不匹配，互不共享，造成“信息孤島”，甚至面向應用的業務邏輯和處理代碼也和數據相融合，這些數據資源無法直接集成，而且數據大量冗余。

圖1 孤立的數據組織方式下的信息孤島

        自然演化的數據組織方式是在企業較長的發展過程中逐步形成的，其基本操作是數據抽取。數據抽取搜索整個文件或源數據庫，使用某種標準選擇合乎限制的數據，并傳送到目的數據庫。企業為了利用和保存原有應用系統的數據資源，常常采用數據抽取為滿足新的應用生成的新的數據資源。圖2顯示基于抽取處理的自然演化的數據組織方式的形成過程：起初是抽取，隨后是抽取之上的抽取，接著是在此基礎上的再次抽取，如此等等。當一個企業以放任自流的態度處理整個硬、軟件體系結構時，就會出現這種由失控的抽取過程生成的結構。

圖2 基于數據抽取的自然演化的數據組織方式

        采用自然演化的數據組織方式會帶來很多問題，主要有：

        數據缺乏可信度：在自然演化的數據組織方式下，不同的抽取路徑可能帶來不同的數據，其原因是多方面的，如數據無時基、抽取算法的差異、抽取的多層次等等。
        數據的生產率不可預測（或稱為數據的生產率低）：由于抽取的多層次，應用系統無法明確知道數據源的準確位置；另外由于抽取算法的多樣性，應用系統也無法確定數據的真實性。
        抽取算法難度大：各個數據庫之間的不一致、沖突不可避免，抽取難度大。
        數據的高度冗余。

        從本質上講，無論是孤立的數據組織方式還是自然演化的數據組織方式，都是為了某個具體的應用而建立的，只反映了局部的數據結構。隨著企業的發展，對應用系統的數據需求也在持續變化，原有的數據組織方式已遠遠不能適應企業的需求，也阻礙了企業信息化向縱深發展，因此建立一個面向整個企業的可擴展的高效的數據集成平臺，提供一套通用的全面的接口體系，使得構筑于該平臺之上的企業應用不再和特定的工具綁定已成為企業的共識。

    2.2 MES數據集成的需求

        石化經過十幾年的發展，開發了很多應用系統$積累了很多歷史數據。同時作為流程行業的代表，其業務流程具有連續作業、流程固定、產品品種相對固定、物流不可間斷等行業特點。另外，國內石化行業的組織機構又兼有大型企業和國家事業單位的成分。這些都對各個應用系統的數據類型、數據結構、數據關系等產生了很大的影響，大大提高了企業數據集成平臺設計的復雜性。通過對多家石化企業的數據集成的調研分析，得知石化企業的數據集成平臺應滿足以下需求：

    （1）實現全局化的數據需求和局部的遺留數據的集成

        石化行業的早期信息化建設是缺乏統一規劃的，即在某些局部開發了相應的信息系統，這些系統都是在獨立環境下開發的“信息孤島”，同時伴隨了大量的“數據孤島”?，F在，軟件工程和系統觀點的發展要求企業在信息化建設中從全局考慮應用系統的規劃，這樣產生了全局化的數據需求。全局化的數據需求和局部遺留數據的不一致、沖突以及信息冗余是不可避免的，必須作集成處理。

    （2）實現大型分布式異構環境下的數據集成

        石化企業規模龐大，往往是由地理上分散的多個部門所組成，所以其數據集成首先是分布式環境下的數據集成。另外，數據賴以存在的軟硬件環境是多樣的異構環境，這里異構的概念是復雜的，包括：

    不同型號的計算機硬件系統：Compaq Alpha、HP-UX、IBM AIX等；
    不同的OS：Microsoft Windows、Uinx等；
    不同的DBMS：Oracle、Sybase、SQL Server、Informix、DB2等；
    不同的系統運行架構：Client/Server、Browser/Server、Multi-tie等。

    （3）完成實時數據庫（歷史數據庫）和關系數據庫的內在集成

        在石化企業中，生產數據分散在裝置一級的DCS控制系統上，這些工程數據數據類型復雜，并要求較高的實時性，需要將實時數據庫和關系數據庫進行整合，才能使管理人員準確、及時地獲得決策所需的相關數據，提高決策的準確性和實時性。

    （4）實現多介質數據的集成

    石化企業中包含結構化的數據，也包含非結構化的數據（如圖形、工藝規程、NC代碼等）；數據關系的復雜性還表現在數據間存在復雜的語義聯系（如數據對象的繼承和遞歸等）。另外，石化行業中的數據形式是豐富的，是多介質的，包括：關系數據庫、實時數據庫、HTML文檔、XML文檔、TXT文檔、EXCEL文檔、常用圖像格式，如BMP、WMF、GIE、JPG等和多媒體數據等等。

    總之，石化企業的數據集成平臺需要按照統一的生產數據模型將生產數據進行重新組織分類，完成異構數據源的集成并向上層應用系統提供一致的快速的數據共享服務。數據集成平臺在實現上述集成需求的過程中，首先應保證數據的一致性。一致性包含以下幾個方面：數據源一致、數據的命名規則一致、數據的表示方式一致、數據的類型一致、數據的語義一致、數據的度量一致等。
3 石化企業MES數據集成平臺的構造

    3.1 數據集成平臺的體系結構

        為了實現企業異構數據集成，滿足企業日益發展的業務需求和功能需求，對于如何建立一種統一的且易擴展的數據集成平臺，研究人員展開廣泛而深入地研究，提出了一系列的解決方案。

        美國Stanford大學設計了一個專門用于管理半結構化信息的數據庫管理系統——Lore可以對半結構化數據（OEM）和XML數據集成存儲和管理。Lore包含標準數據庫的一些特性，如：多用戶支持、日志和恢復功能以及查詢和更新語言。同時Lore也提供了其他一些操作數據庫的工具。東南大學開發了一個基于CORBA的可擴展的異構數據源集成系統原型。該系統在IONA公司的Orbix產品上，對SQL Server、VERSANT文件系統和超文本數據進行包裝和集成。該系統不僅能集成上述數據，而且還能集成隨時插入的新數據源中的數據。北京郵電大學提出了一種基于CWM的企業數據倉庫平臺的體系結構設計方案，該設計方案按照CWM（Common Warehouse metamodel）元數據模型構建數據倉庫平臺及其組件，包括數據源、ETL工具、數據倉庫、數據集市和分析工具等，它們都實現了標準的IDL接口并能夠將自己的元數據轉換為XML DTD和XML文檔，數據交換采用接口調用和CWM元數據交換的方式來實現。裝甲兵工程學院的徐享忠等人提出了基于XML的信息集成框架。邏輯上分為三層：數據源層、集成模式層和用戶視圖層。其中，數據源層可以是遺留關系數據庫和對象數據庫、XML文檔、HTML頁面、電子表格和文件系統等；集成模式層包括多數據源集成的XML文檔；用戶視圖層包括特定設備顯示屬性需求的視圖。

        通過分析上述數據集成平臺的體系結構，作者針對石化企業的特色，結合上述MES數據集成的需求，提出了包含數據接口層、數據集成層和數據交換層的三層企業數據集成平臺（參見圖3）。

圖3 石化企業MES數據集成平臺總體架構

    （1）數據轉換層

        數據轉換層主要針對石化企業的分布式異構環境，實現異構DBMS的集成、數據的統一編碼和分布式數據源管理，支持對底層的數據操作以透明的方式進行。其功能包括：

         DTS：將不同數據源的數據析取、轉換和合并到DTS連通性所支持的單個或多個目的，以滿足上層數據集中層的需要；
         數據統一編碼：將各獨立數據庫的DTS的轉換結果，通過XML編譯器對具有相同語義的多個數據對象進行全企業范圍內的統一編碼，實現企業數據對象的統一管理；
    分布式數據源管理：負責實現多數據庫的同步協調、優化和統一管理。

    （2）數據集成層

        數據集成層將數據轉換層抽取的數據對象根據企業核心數據模型存儲在各分區數據庫中。對上層應用而言，它提供了一個統一的，全企業范圍的企業數據視圖。其功能包括：

        數據的分類存儲：企業數據集成平臺中，根據數據的不同類型，分別設置了過程實時和歷史數據庫、應用數據庫和其它數據庫，以支持不同的應用；
        企業核心數據模型：核心數據參考模型是站在整個企業的高度準確地描述企業關鍵增值業務數據及企業關鍵輔助業務數據，識別和強調不同局部應用間的共同性，揭示并消除冗余信息，檢測并解決各種沖突，統一考慮是否滿足整個企業的應用需求；
        數據處理：一方面是實現面向生產的實時數據和面向企業經營管理的管理數據的整合，一方面是實現各類異構數據源的整合。整合的結果是將企業生產數據模型所設計的數據全部在企業數據平臺中進行管理。在整合過程中對數據進行的服務有：歸納、轉換、解碼、清除不合法的數據；分離、轉換和移動源數據，滿足數據平臺的要求。

    （3）數據接口層

         數據接口層在數據集成層統一企業數據視圖的基礎上，為每個上層應用生成一個應用視圖，并為用戶提供一個統一轉換的數據訪問接口。

    3.2 數據集成平臺的特點

       在該數據集成平臺的設計中，兼容了多數據源的集成，使得系統具有較好的開放性和可擴展性，主要表現在以下幾個方面：

    （1）系統對數據載體的開放

    在MES環境下，共享數據存儲在不同的數據存儲環境上，其數據存儲載體可能是關系庫、網狀庫、層次庫、對象庫、甚至是文件系統。數據轉換層能對以不同存儲形式存儲在不同介質上的數據進行轉換和更新。

    （2）系統對分布環境的開放

    在MES應用中，不同的MES應用環境提供的異構分布數據庫系統的分布環境是不同的，其中既有操作系統環境的不同，又有網絡環境和硬件環境的不同。系統在數據轉換層的設計充分考慮并盡量滿足這種分布環境的不同，提供對分布環境的開放。

    （3）系統對數據持續性的開放

    在MES環境下的共享數據，有的是在系統建立之前就存在并且還要繼續使用，有的是在系統建立后建立的。系統的數據轉化層具有對已有數據的兼容能力，并且能以過去已經使用并且現在仍在使用的方式使用它們，而數據集成層集成新的數據。

    （4）系統對結構的開放

    在MES環境下典型的異構分布庫系統的互聯應該是多層的，每層的功能、模型、模式、語言、數據格式都應在協議中有詳細的說明和定義，系統結構設計依照這些規范和標準按模塊化設計思想設計成一個插件式系統。這樣根據不同的MES應用環境，可對系統以模塊為單位進行修改和調整，并根據應用環境中各站點的負載情況，合理調配各模塊在系統中的分布和模塊之間的關系，以形成滿足該應用特點的實用高效系統。

    （5）系統對用戶接口的開放

    在數據表現層，系統具有對不同結構數據表達的處理能力，提供支持不同應用環境和不同操作方式的友好用戶界面。
4 數據集成平臺的實現

    在數據集成平臺的設計過程中，為保證其通用性、開放性和易擴展性，實現一種松散耦合的集成，作者采用消息中間件、XML技術和適配器技術。數據集成平臺的技術架構如圖4所示，包括適配器、消息中間件、信息集成服務器、配置管理工具、信息查詢組臺工具和數據訪問接口等組件。它以消息中間件作為數據傳輸的軟總線，通過通用的XML語言來描述數據的組織方式，用適配器實現標準數據格式與源數據格式之間的轉換。

圖4 數據集成平臺的技術架構

       信息查詢組態工具是一個通用的查詢組態軟件，用戶可以根據自己的需求、習慣和喜好定制所要查詢的信息，生成特定的組態文件。

       Info Brower是信息瀏覽器，它讀取信息查詢組態工具生成的組態文件，生成查詢語句訪問信息集成服務器，然后把信息集成服務器返回的產查詢結果按事先定制好的組態界面顯示。

       信息集成服務器用于信息的存儲和管理，它包含元數據庫和中央數據庫。元數據是描述數據的數據，可用于指導對中央數據庫的訪問和管理。典型的元數據包括：中央數據庫中表的結構、表的屬性、源數據系統、從源數據系統到中央數據庫的映像、數據模型的規格說明等。中央數據庫是按照生產數據模型生成的統一的一致的全局數據庫。

       配置管理工具輔助進行信息集成服務器的配置和優化的工具。

       數據訪問接口負責應用程序與信息集成服務器之間的交互工作。

       適配器（Adapter）集成遺留數據而設定的組件，它主要實現兩個方面的功能：一是將發往信息集成服務器的遺留數據轉化成指定的信息格式；一是將接收到的外部數據轉化成遺留系統能夠理解的信息格式。它相當于遺留數據和外部數據的翻譯器。

       消息中間件負責信息集成服務器、各應用系統的適配器和數據訪問中間件之間的消息的接收、發送和路由工作。它支持以一種可靠的、異步的、松散耦合的、與語言無關的及與平臺無關的方式在各分布式系統之間傳遞消息。

        數據集成平臺中的各組件相互配合，相互協作共同完成數據的抽取、管理、顯示和訪問等各項任務，其協同工作原理是：各遺留系統中需要繼續使用的數據，經過適配器的抽取和轉換后形成XML的消息格式發送給消息中間件，消息中間件將該消息發往信息集成服務器，信息集成服務器解析XML消息，對中央數據庫和元數據庫進行更新。信息集成服務器向遺留系統發送數據時，首先將數據轉化成XML的格式，然后發送給消息中間件，消息中間件再將消息轉發給遺留應用系統的適配器，適配器解析消息，將XML數據轉變成應用系統能夠理解的格式后傳給應用系統進行處理。對于不需要進行數據轉換的應用系統則通過數據訪問接口和消息中間件的交互，完成應用系統和信息集成服務期間的數據更新與訪問。

5 結束語

        隨著計算機應用的不斷發展，企業中各種數據信息以令人驚異的速度增長，但是在大多數企業中，信息系統的設計和實施都缺少一個整體統一的總體規劃，造成各個應用系統之間缺乏協調統一，出現信息孤島和數據斷層的嚴重局面。如何改善企業現有的數據環境，建立起暢通無阻的企業數據流是企業迫切需要解決的問題。數據倉庫、數據集成平臺的研究為上述問題的解決指明了道路。論文結合MES數據組織特點和集成需求，從數據集成平臺的體系結構、技術架構兩方面詳細闡述了MES數據平臺的建立，提供了一個石化企業數據集成平臺的整體解決方案，該方案已在中國石化長嶺分公司實施，并取得較好的效果。