久久久精品在线视频_国产熟女高潮视频_无码精品国产一区二区三区免费_精品久久人人_黄色片久久久久_av动漫免费看

數(shù)據(jù)統(tǒng)計論文

時間:2023-03-22 17:34:16

導語:在數(shù)據(jù)統(tǒng)計論文的撰寫旅程中,學習并吸收他人佳作的精髓是一條寶貴的路徑,好期刊匯集了九篇優(yōu)秀范文,愿這些內(nèi)容能夠啟發(fā)您的創(chuàng)作靈感,引領您探索更多的創(chuàng)作可能。

數(shù)據(jù)統(tǒng)計論文

第1篇

【關鍵詞】網(wǎng)絡數(shù)據(jù) 系統(tǒng)

1 醫(yī)院學術論文管理情況現(xiàn)狀

隨著計算機的廣泛應用,絕大多數(shù)醫(yī)院管理論文的方法已經(jīng)從手工登記轉變?yōu)槭褂糜嬎銠C軟件管理,其中最為普及的是使用Excel軟件制作電子表格登記論文資料。這種方法可以較好地幫助工作人員解決查找和數(shù)據(jù)統(tǒng)計的問題。但是,數(shù)據(jù)的收集需要做大量的前期工作,由論文作者上報至科教科,再由科教科工作人員進行手工錄入制成Excel表格,需要生成報表和統(tǒng)計數(shù)據(jù)的時候也必須手動操作。

大量繁瑣枯燥的手工錄入工作制成的Excel的本地文件,卻并不能較好的實現(xiàn)數(shù)據(jù)共享。因此,隨著網(wǎng)絡的普及,部分醫(yī)院建立了基于Web的論文管理系統(tǒng)。依靠B/S架構的Web論文管理系統(tǒng),可以很好的解決數(shù)據(jù)共享的問題。相比于使用Excel文件記錄論文數(shù)據(jù),網(wǎng)絡論文管理系統(tǒng)的優(yōu)點在于只要有可用的網(wǎng)絡,無論何時何地都可以通過手機或個人計算機進入系統(tǒng),進行論文上報、登記、查詢操作,使論文管理工作不僅限于辦公室。并且依靠計算機技術也可以一定程度的簡化手工工作,以鼠標點選、自動生成等方式優(yōu)化錄入、統(tǒng)計分析的過程。

2 基于網(wǎng)絡數(shù)據(jù)抓取的醫(yī)院論文管理系統(tǒng)

基于網(wǎng)絡數(shù)據(jù)抓取的醫(yī)院論文管理系統(tǒng)保留了普通網(wǎng)絡論文管理系統(tǒng)的優(yōu)點,著力優(yōu)化和完善最為繁瑣的數(shù)據(jù)錄入過程,從國內(nèi)權威的論文數(shù)據(jù)庫中直接抓取需要的數(shù)據(jù)存入自己的數(shù)據(jù)庫。

據(jù)了解,國內(nèi)絕大部分正規(guī)期刊上發(fā)表的文獻在見刊1-2個月后就會被知網(wǎng)、萬方、維普等專業(yè)的文獻數(shù)據(jù)庫收錄。普通用戶通過檢索,可以獲取到論文的題目、發(fā)表刊物、見刊時間、作者姓名、單位、關鍵詞、摘要等數(shù)據(jù),足以滿足醫(yī)院論文管理系統(tǒng)的需求。只要實現(xiàn)并使用抓取功能獲得需要的數(shù)據(jù),就能大大簡化手工錄入的工作,同時能有效的避免論文漏報、錯報。

2.1 系統(tǒng)的體系結構

目前基于網(wǎng)絡的系統(tǒng)體系結構主要是C/S(客戶端/服務器)架構與B/S(瀏覽器/服務器)架構。C/S架構將大部分的運算放在客戶端處理,要求進入系統(tǒng)的計算機安裝相應的客戶端程序,對計算機操作系統(tǒng)等條件有特定的要求,限制了用戶群,具有較高的安全性,但是靈活性不強,不便于后期維護和系統(tǒng)升級。B/S架構基于HTTP和TCP/IP協(xié)議,運用服務器完成大量的運算,將運算結果傳輸給瀏覽器顯示,用戶只需要使用瀏覽器就可以在個人計算機或智能手機上進行操作,不受局域網(wǎng)、軟件和運行平臺的限制,可以實現(xiàn)跨平臺的使用,并且后期維護成本低,更新方便。

為了系統(tǒng)后期的維護及功能完善,本系統(tǒng)采用B/S架構,也更能適應目前信息系統(tǒng)的發(fā)展趨勢。

2.2 系統(tǒng)的功能模塊

如圖1所示,本系統(tǒng)分為五個功能模塊,分別為:部門管理模塊、職工管理模塊、論文抓取模塊、論文錄入模塊、查詢統(tǒng)計模塊。

2.2.1 部門管理模塊

部門管理模塊的主要功能是通過添加、修改、刪除操作設置醫(yī)院部門信息,構建一個完整的部門樹形結構,以便在查詢統(tǒng)計時可以實現(xiàn)按照部門查詢統(tǒng)計,有助于分析和比較各科室部門的情況。

2.2.2 職工管理模塊

職工管理模塊同樣通過數(shù)據(jù)庫的操作建立職工的花名冊,并且將每個職工按照實際情況分配到科室和部門,如此便建立了論文、作者、部門的關系。

2.2.3 論文數(shù)據(jù)抓取模塊

論文數(shù)據(jù)抓取模塊使用網(wǎng)絡數(shù)據(jù)抓取的方法,通過請求URL、對返回數(shù)據(jù)進行分析、提取論文相關數(shù)據(jù),將其存入論文信息表,并與醫(yī)院職工進行關聯(lián)。

2.2.4 論文數(shù)據(jù)錄入模塊

本模塊的主要功能是手工維護論文數(shù)據(jù),以對論文數(shù)據(jù)的添加、修改、刪除操作,提供是一個查缺補漏渠道,對數(shù)據(jù)抓取過程中出現(xiàn)的不完善數(shù)據(jù)進行人工修改。

2.2.5 統(tǒng)計查詢模塊

模塊提供作者姓名查詢、關鍵詞查詢、期刊查詢、發(fā)表時間查詢、科室查詢等豐富的查詢方法。統(tǒng)計各科室數(shù)量、各種期刊上的數(shù)量、關鍵詞相關論文數(shù)量、任意時間段數(shù)量等以供比較分析。

2.3 網(wǎng)絡數(shù)據(jù)抓取模塊設計

數(shù)據(jù)抓取功能是本系統(tǒng)的特色和亮點,其設計原理類似于簡化的網(wǎng)絡爬蟲,抓取數(shù)據(jù)更具針對性,抓取范圍僅限于較權威的論文期刊數(shù)據(jù)庫。以下介紹設計思路。

2.3.1 抓取模塊涉及的數(shù)據(jù)庫設計

為了能在網(wǎng)絡上抓取數(shù)據(jù),需要一個表存放URL信息,其中包括的主要字段有URL、URL的MD5編碼、訪問狀態(tài)、請求的頁面類型等。

另外需要一個存放論文信息的表存放抓取到的數(shù)據(jù),包含題目、刊名、發(fā)表時間、作者、關鍵詞、摘要等字段。

2.3.2 抓取數(shù)據(jù)的主要步驟

首先程序從URL表中取出一條訪問狀態(tài)為未訪問的數(shù)據(jù),請求此URL并接收返回數(shù)據(jù),根據(jù)URL請求的頁面類型做提取論數(shù)據(jù)或者提取URL數(shù)據(jù)的操作。

對于返回的是論文頁面,需要提取論文詳細信息,然后到論文信息表中查找,判斷是否為已經(jīng)抓取過的論文數(shù)據(jù),若已抓取,則標記請求的URL為已訪問,然后進行下一個URL的請求。否則將論文數(shù)據(jù)整理并入庫,將作者與職工關聯(lián),之后請求下一個URL。

若非論文詳情頁面,則需分離提取頁面中的URL,將提取到的URL逐個進行MD5編碼后到URL表中,將非重數(shù)據(jù)標記為未訪問然后入庫。

3 實現(xiàn)本系統(tǒng)的意義

基于網(wǎng)絡數(shù)據(jù)抓取的醫(yī)院論文管理系統(tǒng)可以有效地減少論文管理過程中的繁瑣工作,簡化管理流程,為管理人員減負。同時,得益于系統(tǒng)采用B/S架構,可以實現(xiàn)跨平臺、跨區(qū)域的管理。抓取來自論文數(shù)據(jù)庫的數(shù)據(jù)相對全面,以此數(shù)據(jù)做出的分析統(tǒng)計能夠更加有效的指導醫(yī)院科研的發(fā)展方向和重心。設計并實現(xiàn)本系統(tǒng),有效地提高了科教管理工作效率。

第2篇

1.1 色散

在光纖信號的傳輸過程中,不同成分的光源群在傳輸速度上存在一定的差異,這種差異會產(chǎn)生一定的時間延遲,從而形成色散。色散主要包括模式色散、色度色散以及偏振色散三種類型,其中色度色散又可以分為材料色散和波導色散兩種,色散問題在超長距離光纖通信中表現(xiàn)得尤為明顯。目前,傳統(tǒng)的方法是通過利用具有負色散系數(shù)性質的DCF進行色散補償,但是該方法存在十分顯著的非線性效應,會產(chǎn)生較大的損耗,而且這種損耗隨補償距離的增加而增大,在超長距離通信系統(tǒng)中采用該方案會產(chǎn)生極高的成本。針對傳統(tǒng)色散補償方法成本過高的問題,已經(jīng)有廠家開發(fā)出了FBG色散補償模塊,該模塊能夠利用光柵對不同波長的發(fā)射特性實現(xiàn)對色散的補償,其損耗值與補償距離無關,有效彌補了傳統(tǒng)補償方法的缺點。

1.2 信噪比

在長距離通信系統(tǒng)中,光放大器在放大光信號的同時,會產(chǎn)生一定程度的自發(fā)輻射放大噪聲,由于線路的長度較長,因此會產(chǎn)生較大的損耗,信號衰減十分嚴重,在經(jīng)過放大器放大之后,這種放大噪聲很可能與信號能量非常接近,導致接收端無法正常的分辨信號,影響系統(tǒng)的正常運行。針對這類問題,一般在前置放大器中加裝濾波器,這樣能夠過濾掉信號光周邊的部分噪聲信號,從而提高信噪比。

1.3 功率

在超長距離通信系統(tǒng)中,光纖信號在傳輸時,由于光波與傳播媒介之間的相互作用會導致光能發(fā)生一定程度的衰減,當能量衰減到一定程度之后,接收端無法從噪聲中正確的辨識出光信號,限制正常的光通信。針對這些問題,一般通過功率補償?shù)姆绞絹斫档托盘査p所產(chǎn)生的損耗。目前在超長距離通信系統(tǒng)中采用的最主要手段是EDFA。EDFA分為功率放大器和前置放大器,其中功率放大器通常配置在傳輸系統(tǒng)的發(fā)射端后,以最大限度提升發(fā)射功率,前置放大器通常配置在接收端前,主要作用是提高接收靈敏度。當通信線路的長度達到一定距離后,僅僅采用功率放大器和前置放大器很難保證接收端正常的接收信號,此時需要在該方法的基礎上對光源進行附加調(diào)制或采用外接調(diào)制器進行附加調(diào)相,從而增大入射光的譜寬。目前,該方法在國家電網(wǎng)以及南方電網(wǎng)的超高壓輸電公司中得到了較好的應用。

二、超長距離通信技術在電力系統(tǒng)中的應用方案

我國的超長距離通信從2007年開始試驗,最初是由光迅科技與南方電網(wǎng)超高壓輸電公司進行合作所進行的長度為345km的2.5Gbit/s的超長距離無中繼通信工程,該段線路中配置了FEC、EDFA、RFA及光柵型DCM,系統(tǒng)保持了3個月的試運行,其整個運行過程的測試結果均十分良好。南方電網(wǎng)在“十一五”黔電送粵施秉——賢令山500kV輸電工程中,對上述技術進行了廣泛的使用,在該輸電工程中,采用超長距離通信技術的線路跨度長達318km。系統(tǒng)從2008年7月開始運行以來,一直保持十分穩(wěn)定的工作狀態(tài),此系統(tǒng)也是我國到目前為止唯一沒有設置中繼站而傳輸距離超過300km的實際工程。根據(jù)設計中的預算,相對于實際已建成的系統(tǒng)而言,采用中繼站將會增加約200萬元的成本。由此也可以看出,通過超長距無中繼通信技術在電力系統(tǒng)中的運用,能夠使電力通信系統(tǒng)的經(jīng)濟性及運行可靠性大大提升,同時也使得通信系統(tǒng)的維護難度大幅度降低。此后,該技術在多項電力通信工程中得到廣泛應用。

三、結論

第3篇

1.1異步轉換技術

這種技術是一種面向連接寬帶的交換技術,是傳統(tǒng)分組交換技術和電路交換技術的延伸和發(fā)展。該技術是使用定長分組把語音和圖像等信息分解成固定長度53b的信息,定長分組就是信元。作用機制是將信元作為單位進行復接、傳輸、交換,獲得了空信元就可以插入信息,且插入的位置可以是隨意的,然后進行信息傳輸。這種技術的優(yōu)點是能進行無連接傳輸,有助于寬帶高速交換,簡化了網(wǎng)絡協(xié)議和功能等。主要業(yè)務有互聯(lián)局域網(wǎng)、虛擬局域網(wǎng)組建、支持無連接數(shù)據(jù)通信業(yè)務、支持幀中繼業(yè)務等。

1.2光交換技術

這是建立在光纖介質上的交換技術,可以分為波分光交換技術、時分光交換技術和空分光交換技術。波分光交換技術的基礎是波分復用技術,能開展超大容量的數(shù)據(jù)傳輸,采用的方法是波長變換和波長選擇。該技術分別有N條輸入和輸出管線,且每條光纖都是借助波分復用技術有n個波長的載波信號,并在每個復用器之間實現(xiàn)N路光纖的n個波長信號交換的。時分光交換技術的基礎上時分復用技術,原理是時隙互換。時分復用技術是將時間化成好多幀,將每個幀劃分成N個長度一樣的時隙,并將時隙分別分給N個信號,最后將N個信號復接到一條光纖上的傳輸技術。空分光交換技術的基礎是光開關技術,通過光開關技術把光信號的傳送通路進行變化,達到傳輸?shù)哪康摹4送?光交換技術還有一種是對上述三個技術的組合,形成組合光交換技術。組合光交換技術主要是由光開關陣列和波分復用器組成的。

2強化交換技術在現(xiàn)代數(shù)據(jù)通信中作用的建議

在現(xiàn)代數(shù)據(jù)通信中,選擇并使用合適的交換技術是至關重要的,尤其是對提高數(shù)據(jù)通信質量有直接影響。要想充分發(fā)揮交換技術在現(xiàn)代數(shù)據(jù)通信中的作用,很重要的一個衡量指標是要確保數(shù)據(jù)通信的可靠性和有效性,即保障數(shù)據(jù)通信質量。為了強化換技術在現(xiàn)代數(shù)據(jù)通信中的作用,提高數(shù)據(jù)通信質量,必須做到以下幾點。

(1)制定科學合理的通信協(xié)議。即要盡量減少數(shù)據(jù)包的長度,可以使用長度字節(jié)來對數(shù)據(jù)包長度進行標志;已經(jīng)制定好的通信協(xié)議要經(jīng)過多次驗證,提高有效性;可以采用合理的幀進行同步標志。

(2)最大程度的降低波特率相對誤差。

(3)合理使用軟件抗干擾技術。軟件抗干擾技術是一種單片機系統(tǒng)的自身防御,系統(tǒng)中控制程序代碼必須要不被損壞是該技術的使用前提。

3結語

第4篇

網(wǎng)絡通信有一定的風險性,對數(shù)據(jù)加密技術的需求比較大,結合網(wǎng)絡通信的實踐應用,通過例舉網(wǎng)絡通信中的風險表現(xiàn),分析其對數(shù)據(jù)加密技術的需求。網(wǎng)絡通信的安全風險有:①網(wǎng)絡通信的過程中,面臨著攻擊者的監(jiān)聽、竊取破壞,很容易丟失傳輸中的數(shù)據(jù)信息;②攻擊者隨意更改網(wǎng)絡通信中的信息,冒充管理者截取傳輸信息,導致網(wǎng)絡通信的數(shù)據(jù)丟失;③網(wǎng)絡通信中的數(shù)據(jù)信息被惡意復制,引起了系統(tǒng)癱瘓、信息不準確的問題。由此可見:網(wǎng)絡通信中,必須強化數(shù)據(jù)加密技術的應用,采取數(shù)據(jù)加密技術,保護網(wǎng)絡通信的整個過程,預防攻擊行為,提高網(wǎng)絡通信的安全水平,避免出現(xiàn)惡意攻擊的現(xiàn)象,保障網(wǎng)絡通信的安全性和積極性,表明數(shù)據(jù)加密技術的重要性,進而完善網(wǎng)絡通信的環(huán)境。

2數(shù)據(jù)加密技術在網(wǎng)絡通信中的應用

數(shù)據(jù)加密技術提升了網(wǎng)絡通信的安全性,規(guī)范了網(wǎng)絡通信的運營環(huán)境,規(guī)避了潛在的風險因素。網(wǎng)絡通信中的數(shù)據(jù)加密,主要分為方法和技術兩部分,對其做如下分析:

2.1網(wǎng)絡通信中的數(shù)據(jù)加密方法

2.1.1對稱加密

對稱加密方法在網(wǎng)絡通信中比較常用,利用相同的密鑰,完成通信數(shù)據(jù)加密到解密的過程,降低了數(shù)據(jù)加密的難度。對稱加密中,比較有代表性的方法是DES加密,屬于標準對稱加密的方法。例如:DES在網(wǎng)絡通信中的應用,使用了固定的加密框架,DES通過密鑰,迭代子密鑰,將56bit密鑰分解成16組48bit,迭代的過程中進行加密,而解密的過程與加密流程相似,使用的密鑰也完全相同,加密與解密密鑰的使用正好相反,根據(jù)網(wǎng)絡通信的數(shù)據(jù)類型,完成對稱加密。

2.1.2非對稱加密

非對稱加密方法的難度稍高,加密與解密的過程,采用了不同的密鑰,以公鑰、私鑰的方式,對網(wǎng)絡通信實行非對稱加密。公鑰和私鑰配對后,才能打開非對稱加密的網(wǎng)絡通信數(shù)據(jù),其私鑰由網(wǎng)絡通信的管理者保管,不能公開使用。非對稱加密方法在網(wǎng)絡通信中的應用,解密時僅需要管理者主動輸入密鑰的數(shù)據(jù)即可,操作方法非常簡單,而且具有較高的安全水平,提高了加密解密的時間效率。

2.2網(wǎng)絡通信中的數(shù)據(jù)加密技術

2.2.1鏈路加密

網(wǎng)絡通信中的鏈路加密,實際是一種在線加密技術,按照網(wǎng)絡通信的鏈路分配,提供可行的加密方法。網(wǎng)絡通信的數(shù)據(jù)信息在傳輸前,已經(jīng)進入了加密的狀態(tài),鏈路節(jié)點先進行解密,在下一鏈路環(huán)境中,重新進入加密狀態(tài),整個網(wǎng)絡通信鏈路傳輸?shù)倪^程中,都是按照先解密在加密的方式進行,鏈路上的數(shù)據(jù)信息,均處于密文保護狀態(tài),隱藏了數(shù)據(jù)信息的各項屬性,避免數(shù)據(jù)信息被攻擊竊取。

2.2.2節(jié)點加密

節(jié)點加密技術確保了網(wǎng)絡通信節(jié)點位置數(shù)據(jù)信息的安全性,通過節(jié)點處的數(shù)據(jù)信息,都不會是明文形式,均表現(xiàn)為密文,促使節(jié)點加密成為具有安全保護功能的模塊,安全的連接了網(wǎng)絡通信中的信息。加點加密技術在網(wǎng)絡通信中的應用,依賴于密碼裝置,用于完成節(jié)點信息的加密、解密,但是此類應用也存在一個明顯的缺陷,即:報頭、路由信息為明文方式,由此增加了節(jié)點加密的難度,很容易為攻擊者提供竊取條件,是節(jié)點加密技術應用中需要重點考慮的問題。

2.2.3端到端加密

網(wǎng)絡通信的端到端加密,是指出發(fā)點到接收點,整個過程不能出現(xiàn)明文狀態(tài)的數(shù)據(jù)信息。端到端加密的過程中,不會出現(xiàn)解密行為,數(shù)據(jù)信息進入到接收點后,接收人借助密鑰加密信息,提高網(wǎng)絡通信的安全性,即使網(wǎng)絡通信的節(jié)點發(fā)生安全破壞,也不會造成數(shù)據(jù)信息的攻擊丟失,起到優(yōu)質的加密作用。端到端加密時,應該做好出發(fā)點、接收點位置的網(wǎng)絡通信加密,以便確保整個網(wǎng)絡通信過程的安全性。

3結束語

第5篇

為避免MPU和HCU同時對雙口RAM的同一個內(nèi)存單元進行訪問,本設計沒有采用雙口RAM的中斷或者信號量等機制,而是采用一種基于角色的環(huán)形緩沖收發(fā)機制,將雙口RAM劃分為兩個獨立環(huán)形緩沖區(qū):發(fā)送環(huán)形緩沖區(qū)和接收環(huán)形緩沖區(qū)。發(fā)送環(huán)形緩沖區(qū)負責將MPU數(shù)據(jù)傳遞給HCU,最終發(fā)送給外部設備;HCU從外部設備接收到數(shù)據(jù),放到接收環(huán)形緩沖區(qū),并傳遞給MPU。

1.1數(shù)據(jù)處理

三取二安全計算機邏輯運算模塊的運行周期為600ms,該模塊按照周期進行數(shù)據(jù)接收、數(shù)據(jù)處理、數(shù)據(jù)輸出。在第n個周期,MPU上的控制邏輯運算模塊從雙口RAM接收到數(shù)據(jù)后,放到邏輯接收緩沖區(qū);從邏輯接收緩沖區(qū)取出n-1個周期的數(shù)據(jù)并進行邏輯處理;將n-2個周期的邏輯處理結果,從邏輯發(fā)送緩沖區(qū)中取出,放到雙口RAM中。MPU上的控制邏輯運算模塊對安全數(shù)據(jù)進行邏輯處理的時間不超過300ms,如果超過,就會影響MPU接收或者發(fā)送數(shù)據(jù)。同樣,MPU上的控制邏輯運算模塊接收、發(fā)送數(shù)據(jù)超過300ms,也會影響邏輯處理功能。在接收發(fā)送處理階段,300ms中的280ms被分為20個發(fā)送接收子周期,每一個子周期的時間為14ms。在HCU中,也是按照同樣的運行節(jié)拍從雙口RAM中寫入或讀出數(shù)據(jù)。MPU與HCU之間交互的數(shù)據(jù),按照預先定義的雙口RAM交換數(shù)據(jù)幀進行。數(shù)據(jù)幀定義略———編者注。

1.2數(shù)據(jù)接收

HCU通過網(wǎng)絡接口接收到數(shù)據(jù)后,對數(shù)據(jù)進行預處理,按照交換數(shù)據(jù)幀進行數(shù)據(jù)組包。根據(jù)當前周期號設置“cycle”,同時確定該數(shù)據(jù)包需要被放到D、E、F三個區(qū)塊中寫入?yún)^(qū)塊角色標志“role”,將“flag”設置為1(即為輸入),并交換數(shù)據(jù)幀的其他字段,按照源網(wǎng)絡數(shù)據(jù)包中的信息進行設置。HCU根據(jù)當前周期號確定在接收環(huán)形緩沖區(qū)中的寫入?yún)^(qū)塊后,將組包之后的交換數(shù)據(jù)幀放到寫入?yún)^(qū)塊中。MPU根據(jù)當前周期號確定在接收環(huán)形緩沖區(qū)中的讀出區(qū)塊后,從讀出區(qū)塊中獲取交換數(shù)據(jù)幀,然后對數(shù)據(jù)幀進行解包,并通過“cycle”、“role”、“flag”、“safety”、“crc”等信息來驗證數(shù)據(jù)幀的唯一性和正確性,正常的數(shù)據(jù)幀被放到邏輯接收緩沖區(qū),異常的數(shù)據(jù)幀被丟棄。同時MPU根據(jù)當前周期號,確定在接收環(huán)形緩沖區(qū)中的測試區(qū)塊,利用內(nèi)存檢測算法對測試區(qū)塊進行雙口RAM內(nèi)存區(qū)塊檢測。

1.3數(shù)據(jù)發(fā)送

在當前周期的600ms內(nèi),MPU進行邏輯運算處理在300ms內(nèi)完成后,MPU從邏輯發(fā)送緩沖區(qū)中讀取上個周期的邏輯處理結果數(shù)據(jù),并對結果數(shù)據(jù)進行預處理,按照交換數(shù)據(jù)幀進行數(shù)據(jù)組包。根據(jù)當前周期號設置“cycle”,同時確定該數(shù)據(jù)包需要被放到A、B、C三個區(qū)塊中寫入?yún)^(qū)塊角色標志“role”,將“flag”設置為1(即為輸入),并交換數(shù)據(jù)幀的其他字段,按照源網(wǎng)絡數(shù)據(jù)包中的信息進行設置。MPU根據(jù)當前周期號,確定在發(fā)送環(huán)形緩沖區(qū)中的寫入?yún)^(qū)塊后,將組包之后的交換數(shù)據(jù)幀放到寫入?yún)^(qū)塊中。HCU根據(jù)當前周期號,確定在接收環(huán)形緩沖區(qū)中的讀出區(qū)塊后,從讀出區(qū)塊中獲取交換數(shù)據(jù)幀,然后對數(shù)據(jù)幀進行解包,并通過“cycle”、“role”、“flag”、“safety”、“crc”等信息來驗證數(shù)據(jù)幀的唯一性和正確性,驗證數(shù)據(jù)幀的正確性。異常的數(shù)據(jù)幀被丟棄,正常的數(shù)據(jù)幀按照網(wǎng)絡數(shù)據(jù)幀進行組包,并通過網(wǎng)絡發(fā)送給軌旁設備或者車載控制器。同時HCU根據(jù)當前周期號,確定在發(fā)送環(huán)形緩沖區(qū)中的測試區(qū)塊,利用內(nèi)存檢測算法對測試區(qū)塊進行雙口RAM內(nèi)存區(qū)塊檢測。

1.4區(qū)塊角色輪換

雙口RAM的發(fā)送與接收環(huán)形緩沖區(qū)的3個區(qū)塊,在任意一個周期都只能處于讀出、寫入、測試3種中的某一種角色,而且這3個角色進行周期輪換,區(qū)塊角色輪換表略———編者注。MPU與HCU通過雙口RAM區(qū)塊角色進行數(shù)據(jù)交互的步驟略———編者注。MPU與HCU通過相同的外部時鐘中斷來驅動數(shù)據(jù)處理軟件模塊的運行,MPU與HCU在對雙口RAM進行訪問時可以做到同步、流水線作業(yè)。在同一個處理周期內(nèi),發(fā)送環(huán)形緩沖區(qū)或者接收環(huán)形緩沖區(qū)中任何一個區(qū)塊都有明確固定的角色,MPU板和HCU板不會同時訪問操作相同區(qū)塊,只有一個板卡對特定區(qū)塊進行訪問,從而解決了雙口RAM的訪問沖突問題,不需要另外采取硬件仲裁、軟件仲裁或者信號量交互等手段。

1.5雙口RAM檢測

應用在三取二安全計算機中雙口RAM可能存在一些功能性缺陷。無論門級電子元件的制造缺陷,還是板卡電路級的設計錯誤,都可能導致雙口RAM的存儲功能性故障,從而降低其功能完整性和可靠性。雙口RAM存儲單元具有多種類型的故障略———編者注。實際項目應用中,開發(fā)人員需要關注雙口RAM存儲功能的完整性和可靠性,可以通過存儲器檢測算法來對其進行檢測和診斷,能夠及時地發(fā)現(xiàn)和定位雙口RAM的存儲功能故障,并及時采取相應的措施,避免因雙口RAM存儲單元的數(shù)據(jù)錯誤導致的嚴重后果。本文采用硬件BIST架構(HBIST),在硬件電路中設計專門的硬件邏輯部件來對內(nèi)存進行測試,其圖形測試向量有專門的硬件電路模塊生成,自動對內(nèi)存的各種功能故障進行測試,硬件架構內(nèi)建測試的內(nèi)存故障測試覆蓋率高,而且測試速度快,設計選取的圖形測試向量主要用于覆蓋高層次的內(nèi)存故障,如NPSF、CF、DRF。HBIST利用March-TB內(nèi)存測試算法對系統(tǒng)的內(nèi)存進行測試,使用硬件HBIST電路來生成圖形測試向量,并由硬件HBIST電路來進行測試,HBIST測試電路模型略———編者注。在硬件BIST處于非工作狀態(tài)時,會拉低BIST的時鐘信號,BIST電路進入休眠狀態(tài)。當系統(tǒng)在夜間進入非繁忙狀態(tài),會產(chǎn)生BIST_MODE信號,來激活BIST電路的BIST模式控制器,并拉高時鐘信號,BIST模式控制器發(fā)出控制信號,會接管對整個RAM的訪問控制,并對RAM開始進行測試。BIST模式控制器控制測試向量產(chǎn)生器、地址與數(shù)據(jù)生成邏輯工作,產(chǎn)生相應的測試向量對RAM進行測試。同時,并將測試結果在BIST結果比較器中進行比較,如果發(fā)現(xiàn)異常,退出BIST_MODE模式,通知MPU測試異常,MPU產(chǎn)生相應的告警和錯誤處理。HBIST在進行內(nèi)存檢測時一共具有4種狀態(tài):idle、test、error、wait。idle表示處于等待測試數(shù)據(jù)進行測試的空閑狀態(tài);test表示獲得測試向量對相應內(nèi)存單元進行測試;error表示檢測到內(nèi)存單元出錯;wait表示處于休眠狀態(tài),等待CPU模塊激活HBIST。HBIST狀態(tài)機的狀態(tài)轉移圖略———編者注。HBIST狀態(tài)機的VHDL程序略———編者注。在測試的過程中,通過植入內(nèi)存故障,并用邏輯分析儀獲取出錯信號,硬件BIST模塊檢測內(nèi)存出錯圖如圖3所示。圓圈里面的測試結果與期望結果不一致,內(nèi)存檢測出錯。

1.6數(shù)據(jù)交互軟硬件設計

雙口RAM是雙端口SRAM芯片,本設計采用CY7C028V-15AXI,讀寫速度最高為15ns,數(shù)據(jù)容量為64K×16位。雙口RAM連接HCU板的一端為MPC8247的LO-CALBUS總線,連接MPU板的一端為CPCI總線橋接芯片的LOCALBUS總線,HCU可以直接通過LOCALBUS總線訪問雙口RAM,而MPU板通過PCI總線訪問,其中還有控制信號,如片選、讀寫、中斷、BUSY信號等。雙口RAM交互電路圖略———編者注。在MPU和HCU中,通過設計的軟件模塊,來完成雙口RAM的訪問操作。雙口RAM的MPU上軟件交互關鍵代碼略———編者注。

2結語

第6篇

現(xiàn)代經(jīng)濟正步入以世界統(tǒng)一市場為標志的世界經(jīng)濟一體化軌道,企業(yè)的成敗,取決于信息獲取、識別、處理、轉換、傳遞的準確性、效率與速度。因此,信息在企業(yè)經(jīng)營管理中的重要作用也將愈來愈顯著。隨著我國改革開放,確立市場經(jīng)濟體制,和加入WTO,企業(yè)要能在國際國內(nèi)激烈的市場競爭中求得生存與此同時發(fā)展,一個重要的條件就是——必須要有一個健全的高效的信息系統(tǒng),以滿足企業(yè)經(jīng)營管理決策所需的各種內(nèi)外信息。因此,作為提供信息的企業(yè)統(tǒng)計必將在其中扮演重要角色,發(fā)揮重要作用。特別是對我們**系統(tǒng)來說,隨著“大企業(yè)、大市場、大品牌”的形成,以行政區(qū)劃為單一的卷煙市場割據(jù)將很快被打破,搬掉門檻推倒墻是大勢所趨。再下一步就有可能是**專賣法的取消,所有這些都告訴我們,**行業(yè)也將馬上面臨著國際國內(nèi)激烈的市場競爭。想在這種激烈的競爭中生存發(fā)展,必須要有一支能夠為企業(yè)的決策和管理者提供準確數(shù)據(jù)的素質過硬的統(tǒng)計隊伍。

近年來,我國統(tǒng)計工作取得了比較顯著的成績。從總體上來看,我國現(xiàn)有的統(tǒng)計數(shù)據(jù),基本上還是能夠反映客觀實際的。但是,隨著社會主義市場經(jīng)濟的不斷發(fā)展,經(jīng)濟結構復雜化,利益主體多元化,再加上體制轉化過程中經(jīng)濟秩序混亂,人為干擾增多,因而搞準統(tǒng)計數(shù)據(jù)的難度也就日益增大,統(tǒng)計失實的潛在危險性也就日漸嚴重,并將逐步暴露。對此,我們必須要有清醒的認識,要始終不渝地把提高統(tǒng)計數(shù)據(jù)質量問題,擺到統(tǒng)計工作的首要位置,并采取綜合治理措施,切實抓緊抓好。下面就統(tǒng)計數(shù)據(jù)質量問題談談自己一些粗淺的看法。

一、統(tǒng)計數(shù)據(jù)質量控制的意義

企業(yè)統(tǒng)計的目的是為企業(yè)經(jīng)營決策管理提供統(tǒng)計信息。在市場經(jīng)濟條件下,企業(yè)經(jīng)營決策極具風險性,風險產(chǎn)生于不確定性并由不確定性程度決定風險的大小,而不確定性又與信息的準確和及時程度直接相關,信息愈準確及時,不確定性愈低,反之,亦然。所以,準確性和及時性是對統(tǒng)計資料的兩項基本要求。其中,準確性的要求是第一位的,是統(tǒng)計工作的生命。它確定著統(tǒng)計資料是否有效和價值的高低,是衡量統(tǒng)計數(shù)據(jù)質量的根本標志。準確可靠的統(tǒng)計數(shù)據(jù),便于決策和管理者正確地把握形勢,客觀地剖析問題,從而作出科學的決策。反之,有水分的、失實的統(tǒng)計數(shù)據(jù),相互矛盾的統(tǒng)計數(shù)據(jù),給決策者以錯誤的信號,將會誤導決策和調(diào)控,對企業(yè)的發(fā)展將會造成重大損失。因此,統(tǒng)計工作者必須以對本職工作高度負責的精神,以統(tǒng)計數(shù)據(jù)為對象,以消除統(tǒng)計數(shù)據(jù)的差錯為目標,千方百計搞準統(tǒng)計數(shù)據(jù),達到強化統(tǒng)計數(shù)據(jù)質量控制的目的。

二、常見的統(tǒng)計數(shù)據(jù)質量問題及分析

(一)數(shù)據(jù)虛假

這是最常見的統(tǒng)計數(shù)據(jù)質量問題,也是危害最為嚴重的數(shù)據(jù)質量問題。這類統(tǒng)計數(shù)據(jù)完全是虛構的杜撰的,毫無事實根據(jù)。造成統(tǒng)計數(shù)據(jù)虛假的因素多種多樣,比如,有意虛報,瞞報統(tǒng)計數(shù)據(jù)資料,指標制定不嚴密,統(tǒng)計制度不完善,不配套等。

(二)拼湊的數(shù)據(jù)

這種數(shù)據(jù)是把不同地點,不同條件,不同性質的數(shù)據(jù)在收集、加工、傳遞過程中,人為地拼湊成同一時間、地點、條件和性質下的同一數(shù)據(jù)。這種東拼西湊的數(shù)據(jù),雖然分別有事實根據(jù),但是從整體上看數(shù)據(jù)是不符合事實的,其性質與數(shù)據(jù)虛構相同。

(三)指標數(shù)值背離指標原意

這是由于對指標的理解不準確,或者是因為指標含義模糊,指標計算的隨意性大等原因造成的數(shù)據(jù)質量問題,表現(xiàn)為收集整理的統(tǒng)計數(shù)據(jù)不是所要求的統(tǒng)計內(nèi)容,數(shù)據(jù)與指標原意出現(xiàn)走樣,面目全非。

(四)數(shù)據(jù)的邏輯性錯誤

這是指統(tǒng)計資料的排列不合邏輯,各個數(shù)據(jù)、項目之間相互矛盾。例如,企業(yè)卷煙庫存商品中主要的組成部分是省產(chǎn)煙、省外煙、國外煙,如果企業(yè)報送的統(tǒng)計資料中,卷煙庫存商品總金額顯著下降,而省產(chǎn)煙庫存金額大幅度上升,省外煙和國外煙庫存金額只是持平或只有小幅度的下降,這就存在矛盾,表明數(shù)據(jù)有邏輯性錯誤。

(五)數(shù)據(jù)的非同一性

它是指同一個指標在不同時期的統(tǒng)計范圍、口徑、內(nèi)容、方法、單位和價格上有差別而造成的數(shù)據(jù)的不可比性。例如,2003年的統(tǒng)計資料中不含稅價在30元以上的卷煙為一類卷煙,而在2004年的統(tǒng)計資料中,不含稅價50元以上的卷煙為一類卷煙,如果在此基礎上來比較兩年的一類卷煙的銷售量,而得出一類卷煙銷售量大幅度下降的結論顯然是不合理的。

(六)數(shù)據(jù)不完整

這里指調(diào)查單位出現(xiàn)遺漏,所列項目的資料沒有搜集齊全,不符合統(tǒng)計資料完整性的要求。數(shù)據(jù)不完整,就不可能反映研究對象的全貌和正確認識現(xiàn)象總體特征,最終也就難以對現(xiàn)象變化的規(guī)律性做出明確的判斷,甚至會得出錯誤的結論。

(七)統(tǒng)計手段和統(tǒng)計分析落后

目前許多企業(yè)統(tǒng)計工作仍處于手工狀態(tài),很原始!即使采用計算機也僅僅是減少工作量去做一些匯總、指標計算,并沒真正引用先進的計算機技術和網(wǎng)絡技術。所做的統(tǒng)計分析也局限于事后分析,即對統(tǒng)計數(shù)據(jù)進行單純的講解說明;不能利用網(wǎng)絡技術實行信息共享等方式進行事前分析和預測。換句話說,“統(tǒng)計預測”這一職能根本沒有發(fā)揮作用,缺乏對信息的收集、綜合和系統(tǒng)化。

此外,常見的統(tǒng)計數(shù)據(jù)問題還有計算錯誤、筆誤等。

可見,統(tǒng)計數(shù)據(jù)質量問題既可能是來自于設計階段,也可能是來自于統(tǒng)計資料的整理階段。

三、統(tǒng)計數(shù)據(jù)質量控制方法

(一)、統(tǒng)計數(shù)據(jù)質量控制的原則應當是全過程的、全員參加的、以預防為主的數(shù)據(jù)質量控制。

首先,統(tǒng)計數(shù)據(jù)質量控制要貫穿于統(tǒng)計工作的全過程。每進行一步,都要對已完成的工作進行檢查、對已發(fā)生的差錯及時進行糾正,做到層層把關,防止差錯流入下一個工作環(huán)節(jié),以保證統(tǒng)計數(shù)據(jù)的質量。其次,參加統(tǒng)計數(shù)據(jù)質量管理和控制的人員應當是全面的。全體統(tǒng)計工作者都要樹立數(shù)據(jù)質量意識,各個主要的工作環(huán)節(jié)都要落實專人負責。統(tǒng)計數(shù)據(jù)質量的好壞,是許多工作和許多統(tǒng)計工作環(huán)節(jié)質量的綜合反映,牽涉到統(tǒng)計工作的所有部門和人員,因此,提高數(shù)據(jù)質量需要依靠所有統(tǒng)計工作者的共同努力,決不是單純靠某一個部門或少數(shù)人所能搞得好、抓得了的。只有人人關心數(shù)據(jù)質量,大家都對數(shù)據(jù)質量高度負責,產(chǎn)生優(yōu)質的統(tǒng)計數(shù)據(jù)才有堅實的群眾基礎。因而,統(tǒng)計數(shù)據(jù)質量控制要求把差錯消滅在它的形成過程中,做到防檢結合,以防為主。這就要求有關人員在質量控制中具有超前意識,拋棄那種出現(xiàn)了統(tǒng)計數(shù)據(jù)問題才想辦法解決問題的被動的局面。

實行全員性的質量控制,就要把統(tǒng)計數(shù)據(jù)質量目標及其關鍵交給廣大統(tǒng)計工作者,落實到每個工作崗位,使每個崗位都有明確的工作質量標準,做到合理分工、職責明確,職責越明確,數(shù)據(jù)質量控制就越有保證。

(二)、統(tǒng)計設計階段的質量控制

統(tǒng)計設計是統(tǒng)計工作的首要環(huán)節(jié),統(tǒng)計數(shù)據(jù)質量的好壞,首先決定于這個過程,它是提高統(tǒng)計數(shù)據(jù)質量的前提。如果設計過程的工作質量不好,就會給統(tǒng)計數(shù)據(jù)質量留下許多后遺癥。設計過程的質量控制需要抓好以下幾項工作:

1、正確規(guī)定統(tǒng)計數(shù)據(jù)質量標準。數(shù)據(jù)質量標準是指根據(jù)不同的統(tǒng)計目的對統(tǒng)計數(shù)據(jù)精度所提出的要求。滿足統(tǒng)計目的精度的統(tǒng)計數(shù)據(jù)就是準確的,高質量的統(tǒng)計數(shù)據(jù)。首先要作充分的調(diào)查,系統(tǒng)地收集市場和用戶對統(tǒng)計數(shù)據(jù)的反映和實際使用效果的情況;其次要分析研究過去統(tǒng)計數(shù)據(jù)的主要質量問題,找準統(tǒng)計數(shù)據(jù)質量控制的主攻方向;最后要進行反復論證,考慮到統(tǒng)計工作中實際能夠達到的水平。

2、合理設計統(tǒng)計指標體系及其計算方法。

統(tǒng)計指標設計得是否合理,也是影響統(tǒng)計數(shù)據(jù)質量的因素之一。采用統(tǒng)計報表搜集資料,首先要實行標準化管理,制定的指標要符合統(tǒng)計制度的規(guī)定,范圍要全,分組要準,指標涵義的解釋和計算方法要精確;其次要對統(tǒng)計報表的設計、頒發(fā)、填制、匯總的全過程實行全面質量管理。

(三)、資料整理鑒別階段的質量控制

統(tǒng)計資料整理鑒別階段出現(xiàn)的差錯是統(tǒng)計數(shù)據(jù)質量問題的重要方面。如果資料不準確,就會影響結論的正確。因此,要特別注意審查資料的可靠性和適用性,要弄清楚統(tǒng)計指標的口徑范圍、計算方法和時期時點。對于口徑不一致或不完整的資料,需要進行調(diào)整、補充;對于相互比較的資料,必須要注意有無可比性;一旦發(fā)現(xiàn)數(shù)據(jù)有嚴重的質量問題,應進行核實,避免有質量問題的資料進入?yún)R總處理階段。總之,對搜集到的資料,經(jīng)過鑒別推敲、核實審定、使之準確無誤,才能使統(tǒng)計數(shù)據(jù)的質量得到保證。

(四)、人為錯誤的質量控制

1、盡可能采用計算機處理統(tǒng)計資料,同時提高統(tǒng)計分析水平。

計算機作為當今社會不可缺少的高科技產(chǎn)物已滲透到我們生活、工作中的各個環(huán)節(jié)。運用計算機整理、匯總統(tǒng)計資料,速度快、效果好,其優(yōu)越性是手工整理無可比擬的。現(xiàn)在國內(nèi)大部分著名企業(yè)基本上實行網(wǎng)絡化、全球化,利用網(wǎng)絡資源了解世界先進行業(yè)信息,采用科學先進的統(tǒng)計分析方法和手段,進行橫向、縱向對比,找差距挖潛力,努力趕超世界先進企業(yè)。要能夠寫出有一定深度的統(tǒng)計分析預測報告,系統(tǒng)、全面、科學地去挖掘利用網(wǎng)絡資源和從市場取得的第一手資料,完善整個分析、預測手段方法和過程。但是,也應重視計算機處理數(shù)據(jù)的質量問題,提高計算機數(shù)據(jù)處理的關鍵在于提高錄入數(shù)據(jù)的可靠性。

2、統(tǒng)計工作者本身應提高自身素質。

統(tǒng)計人員沒有深厚的專業(yè)知識和豐富的實際工作經(jīng)驗,沒有跟上時代及時進行知識更新,不善于統(tǒng)計調(diào)查獲取第一手資料,寫不出有一定深度關于本企業(yè)某一方面對決策層有參考價值的統(tǒng)計分析報告。因此,對統(tǒng)計人員應該加強培訓工作,企業(yè)內(nèi)部應建立配套的培訓機制,對每一層次統(tǒng)計崗位實施針對性的培訓,必要時到企業(yè)外請有關專家學者授課,或到相關先進單位進行考察學習,做到取長補短。統(tǒng)計工作者本身也應該努力學習統(tǒng)計知識,鉆研業(yè)務,不斷提高統(tǒng)計業(yè)務素質和水平,杜絕因業(yè)務不熟悉而造成的數(shù)據(jù)質量問題。

3、加強對統(tǒng)計人員的職業(yè)道德培訓。

目前,上級部門下達計劃和各類政績考核對統(tǒng)計數(shù)據(jù)干擾不可低估。有些地方,以是否完成計劃和各類數(shù)據(jù)的高低作為考核地方政績的依據(jù),導致很多下級部門所報的統(tǒng)計數(shù)據(jù)高于計劃數(shù)或持平,這并不是計劃部門的計劃多么精確合理,而是說明某些統(tǒng)計對象或統(tǒng)計部門受某種利益的驅動而使統(tǒng)計數(shù)據(jù)的質量得不到保障。當然,數(shù)據(jù)不真實、不準確的原因是多方面的,其中統(tǒng)計人員的思想道德對統(tǒng)計數(shù)據(jù)的影響是很大的。這就要求我們加強對統(tǒng)計人員的思想品德和職業(yè)道德教育,要求每一個統(tǒng)計工作者必須堅持實事求是的工作作風,認真對待每一個統(tǒng)計數(shù)據(jù),如實地反映情況。

4、加大統(tǒng)計執(zhí)法力度,保證源頭數(shù)據(jù)的準確性。

第7篇

關鍵詞:dbms復制聯(lián)邦數(shù)據(jù)庫

1.引言

隨著經(jīng)濟的發(fā)展,企業(yè)的規(guī)模越來越大,其積累的信息也越來越多。存在著各部門所處理的信息多數(shù)只對本部門有效,僅有少數(shù)信息需給其它某些部門共享的問題。這種信息的分布性和獨立性要求對所處理的數(shù)據(jù)進行分類,使各部門既能獨立地處理本部門大多數(shù)數(shù)據(jù),也使部門間能協(xié)調(diào)處理跨部門的事務。在這種情況下,對整個企業(yè)建立一個完全的緊密耦合的分布式數(shù)據(jù)庫是很困難的,也是沒必要的,特別是大型企業(yè),這樣的數(shù)據(jù)庫的效率往往是很低的。

為解決這個問題,我們采用以下策略:每個部門使用一套緊密耦合的數(shù)據(jù)庫系統(tǒng),而在存在跨部門事務處理的數(shù)據(jù)庫系統(tǒng)間用一個協(xié)調(diào)器聯(lián)起來。這樣就組成了一個橫跨整個企業(yè),各部門高度自治的聯(lián)邦數(shù)據(jù)庫系統(tǒng)。

dm2是由華中理工大學數(shù)據(jù)庫多媒體技術研究所研制的數(shù)據(jù)庫管理系統(tǒng)。它采用客戶/服務器模型,客戶機與服務器,服務器與服務器均通過網(wǎng)絡互連,通過消息相互通訊,組成一個緊密耦合的分布式數(shù)據(jù)庫系統(tǒng)。它的工作流程如下:客戶機登錄到一臺服務器上,這臺服務器便成為它的服務器;它接收來自客戶機的消息,然后根據(jù)全局數(shù)據(jù)字典決定是自己獨立完成該操作,還是與其它服務器協(xié)作處理這條消息,處理完成之后,再由服務器將處理結果返回給客戶機。

而數(shù)據(jù)字典,作為記錄數(shù)據(jù)庫所有元數(shù)據(jù)的系統(tǒng)表,它向以上過程中提供各類有用的信息,引導它們向正確的方向運行,起著“指南針”的作用。它分為局部數(shù)據(jù)字典和全局數(shù)據(jù)字典。其中,局部數(shù)據(jù)字典用于記錄一個服務器站點中數(shù)據(jù)庫的控制信息,如表的模式,視圖的模式及各個數(shù)據(jù)區(qū)的的文件名等信息。全局數(shù)據(jù)字典用于記錄分布式數(shù)據(jù)庫系統(tǒng)中各個服務器站點上有關全局數(shù)據(jù)的控制信息,如服務器站點信息,各服務器站點的全局表名及表內(nèi)碼記錄,各服務器站點上的全局數(shù)據(jù)視圖名及視圖內(nèi)碼記錄,用戶名及口令記錄,用戶權限記錄等信息。各個局部數(shù)據(jù)字典可以各不相同,但為了保證在各個服務器上所看到的全局數(shù)據(jù)庫是一致的,因此,全局數(shù)據(jù)字典必須一致。我們所關心的是全局數(shù)據(jù)字典中的基表控制塊tv_ctrl_block,它的內(nèi)容主要包括:全局基表總數(shù),每個全局基表名和其對應的表內(nèi)碼,該基表所在的服務器站點的編號等信息。它的功能是將各個服務器站點號與存儲在其上的表名及表內(nèi)碼聯(lián)系起來。這樣,服務器從客戶消息中找到被處理的表名,然后通過查詢基表控制塊tv_ctrl_block,就能知道該表存在哪個服務器上,以便將相關消息發(fā)給該服務器。

由于dm2上各個服務器站點的全局字典完全相同,任何全局表的信息都會記入全局字典。若用它來構建一個企業(yè)的數(shù)據(jù)庫系統(tǒng),則大量只對企業(yè)某部門有用的信息將會充斥在各部門所有服務器的全局字典中,增加了冗余。而且,當對全局表進行ddl操作時,為了確保全局字典的一致性,須對所有服務器的全局字典進行加鎖。dm2對全局字典的封鎖方式是采用令牌環(huán)方式,即令牌繞虛環(huán)(非實環(huán))傳輸,某個服務器想對全局字典進行操作,必須等令牌到達該服務器才可以執(zhí)行。每個部門建立的全局表絕大多數(shù)只對本部門有用,當對這些表進行ddl操作時,卻要對所有服務器的全局字典進行封鎖,通過令牌來實現(xiàn)對全局字典的互斥訪問。假如,兩個部門都要分別對本部門的內(nèi)部表進行ddl操作,這應該是可以并行處理的操作,現(xiàn)在卻只能串行執(zhí)行。而且,當服務器數(shù)目龐大時,每個服務器等待令牌的時間將會很長。這嚴重損害了數(shù)據(jù)庫的效率。

為彌補以上不足,在dm2的改進版本dm3中增加了協(xié)調(diào)器,用以聯(lián)接各個獨立的dm3數(shù)據(jù)庫子系統(tǒng),并協(xié)調(diào)各子系統(tǒng)間的各種關系,使各子系統(tǒng)既能高度自治地工作,又能進行有效的信息共享。

2.體系結構

本系統(tǒng)可看作多個數(shù)據(jù)庫子系統(tǒng)被協(xié)調(diào)器聯(lián)起來的,高度自治的一個聯(lián)邦數(shù)據(jù)庫系統(tǒng)。其中,每個子系統(tǒng)獨立處理本系統(tǒng)內(nèi)部的事務,而子系統(tǒng)間的信息共享由復制技術提供,副本間的一致性由協(xié)調(diào)器協(xié)調(diào)處理,處理所需的信息在初始化時寫入?yún)f(xié)調(diào)器的組間數(shù)據(jù)字典中。當對某子系統(tǒng)中的一份數(shù)據(jù)副本進行修改時,該子系統(tǒng)會將修改通知協(xié)調(diào)器,由協(xié)調(diào)器對該數(shù)據(jù)的其它副本進行修改,從而保證了所有副本的一致性。

由以上可知,子系統(tǒng)彼此并不直接接觸,而是各自都與協(xié)調(diào)器直接相聯(lián),由協(xié)調(diào)器統(tǒng)一管理子系統(tǒng)間的通信。這樣,當子系統(tǒng)對副本進行修改時,不必關心相應的子系統(tǒng)處于何種狀態(tài),也不必等待回應消息,以及異常處理,所有這些都由協(xié)調(diào)器進行管理。因此,既提高了系統(tǒng)運行的效率,也保證了子系統(tǒng)的獨立性。其體系結構如下圖所示。

協(xié)調(diào)器主要有三大功能,首先,它對協(xié)調(diào)器和服務器進行初始化,并將有關信息存入組間字典;其次,它管理不同子系統(tǒng)間的通信,維護副本的一致性;最后,它在子系統(tǒng)出現(xiàn)崩潰時,進行異常管理及恢復工作。

dm3多數(shù)據(jù)庫系統(tǒng)體系結構

3.主要策略

多個dm3系統(tǒng)間的信息共享是通過副本實現(xiàn)的,副本的一致性是由協(xié)調(diào)器來維持的,是一種弱一致性。通常,多數(shù)據(jù)庫系統(tǒng)間的一致性是通過協(xié)調(diào)器周期性地訪問服務器的日志來完成的。由于副本的更新帶有隨機性,因此,若采用這種方法,可能數(shù)據(jù)被修改多次,但其相對應的副本仍未被修改,這樣就損害了數(shù)據(jù)的一致性;也可能數(shù)據(jù)并未被修改,但協(xié)調(diào)器已多次訪問了服務器的日志了,這樣就降低了系統(tǒng)的效率。

所以,本系統(tǒng)采用的方法是當數(shù)據(jù)被修改時,由服務器通知協(xié)調(diào)器有關信息,再由協(xié)調(diào)器通知相關系統(tǒng),修改相關數(shù)據(jù)。這樣,數(shù)據(jù)的修改及時(仍然是弱一致性),而協(xié)調(diào)器也不會在數(shù)據(jù)未被修改的情況下訪問服務器,提高了準確性。

為了使協(xié)調(diào)器正常工作,我們對底層數(shù)據(jù)庫管理系統(tǒng)dm2進行了修改。在基表控制塊tv_ctrl_block中增加一項isreplication。建表時,該項初始化為false;當為該表建立一個副本時,該項賦值為true。具體算法如下。

3.1初始化算法。

協(xié)調(diào)器:

從用戶或應用程序接收待連接的兩個系統(tǒng)中的服務器名,需復制的表名;

分別登錄到兩個系統(tǒng)的服務器上;

向存有待復制表的服務器發(fā)預復制消息;

等待服務器消息;

若失敗,發(fā)一條失敗的消息給服務器和用戶或應用程序,轉11);

若成功,從消息中取出待復制表的有關信息,根據(jù)這些信息,發(fā)一條建表消息給另一個系統(tǒng)的服務器;

等待服務器消息;

若失敗,發(fā)一條失敗的消息給服務器和用戶或應用程序,轉11);

若成功,調(diào)數(shù)據(jù)轉移程序,進行數(shù)據(jù)復制;

將有關信息寫入組間字典。

退出。

服務器:

當服務器收到預復制消息后,將基表控制塊tv_ctrl_block中的isreplication賦為true。同時,取出待復制表的有關信息,組成應答消息發(fā)給協(xié)調(diào)器。

當服務器收到失敗的消息后,將基表控制塊tv_ctrl_block中的isreplication賦為false。

3.2維護算法。

協(xié)調(diào)器:

從組間字典讀出相關信息,根據(jù)這些信息,登錄到相應系統(tǒng)上;

等待消息;

從某系統(tǒng)的服務器上收到一條修改消息后,通過查找組間字典,確定該消息的目的地,然后將它轉發(fā)過去;

若失敗,定時重發(fā);

轉2);

服務器:

1)等待消息;

2)當收到某客戶或應用程序的消息后,檢查它是否是修改數(shù)據(jù)的操作(如delete,update或insert等);

若不是,轉7);

若是,檢查基表控制塊tv_ctrl_block中的isreplication是否為true;

若不是,轉7);

若是,向協(xié)調(diào)器發(fā)修改消息;

繼續(xù)執(zhí)行服務器程序的其它部分。

3.3恢復算法。

若協(xié)調(diào)器所聯(lián)接的系統(tǒng)中有一個跨掉了,則對副本的修改無法及時地反映到跨掉的系統(tǒng)中來。這時,需要恢復算法來進行處理。

協(xié)調(diào)器:

當協(xié)調(diào)器發(fā)現(xiàn)有一個系統(tǒng)已經(jīng)崩潰后,采取以下步驟。

將與該系統(tǒng)相關的變量open賦值為false;

打開記時器;

等待消息;

若收到的消息是其它系統(tǒng)發(fā)出的修改崩潰了的系統(tǒng)上的副本的命令,則依次將這些消息存儲起來,轉3);

若收到的消息是記時器發(fā)出的時間到的消息,則向崩潰的系統(tǒng)發(fā)登錄命令;

若登錄成功,將open的值改為true;

將存儲的消息依次發(fā)送過去,轉9);

若登錄失敗,轉3);

退出。

4.結論

我們曾在三個dm3數(shù)據(jù)庫系統(tǒng)上,用兩個協(xié)調(diào)器進行聯(lián)接。結果,運行情況良好,各副本最終都能保證一致,且各副本間存在差異的時間間隔很短。另外,在出現(xiàn)異常的情況下,協(xié)調(diào)器也能正常工作。

主要參考文獻

1.周龍驤等,分布式數(shù)據(jù)庫管理系統(tǒng)實現(xiàn)技術,科學出版社,1998。

第8篇

管理會計信息系統(tǒng)與會計核算系統(tǒng)有著很大不同。會計核算系統(tǒng)按照實際操作中對企業(yè)會計核算流程的要求安排設計,操作固定、內(nèi)容全面。只需要按照經(jīng)濟業(yè)務內(nèi)容和會計相關法律要求操作即可。而管理會計信息系統(tǒng)更為復雜。他沒有一成不變的決策處理程序,相反在決策過程中需要運用大量的技術分析方法,對比多項數(shù)據(jù)信息才能得到所需的結果。系統(tǒng)龐大、操作復雜,一但結果失誤有可能對企業(yè)的發(fā)展帶來毀滅性打擊。因而該系統(tǒng)的建立對數(shù)據(jù)處理能力有著極高的要求。大數(shù)據(jù)時代的到來,它所提供的數(shù)據(jù)量、數(shù)據(jù)結構和數(shù)據(jù)處理方式正好貼合了管理會計信息系統(tǒng)的需要。它將企業(yè)決策中需要的財務因素與非財務因素結合起來,為企業(yè)管理提供可靠的數(shù)據(jù)支撐。

二、管理會計信息系統(tǒng)在企業(yè)中的作用

管理會計信息系統(tǒng)是會計信息系統(tǒng)的一個組成部分。長久以來企業(yè)在會計信息化的道路上一味的重視會計核算的信息化,忽視了管理會計的信息化,使得管理會計的各項職能沒有在企業(yè)發(fā)揮出來。隨著企業(yè)規(guī)模發(fā)展壯大,經(jīng)濟環(huán)境紛繁復雜,管理會計越來越受到高層管理人員的重視。在企業(yè)中使用管理會計相關分析方法,建立管理會計的信息化系統(tǒng)可以為企業(yè)價值提升起到事半功倍的效果。1.為企業(yè)發(fā)展提供全面數(shù)據(jù)信息當前經(jīng)濟形勢風云變幻,紛繁復雜,稍有不慎就可能對企業(yè)發(fā)展帶來巨大打擊。及時、準確的信息對企業(yè)決策至關重要,而建立管理會計信息系統(tǒng)可以對企業(yè)提供有效幫助。管理會計信息系統(tǒng)是以海量數(shù)據(jù)為基礎,運用分析技術優(yōu)勢,結合管理需要,經(jīng)營業(yè)務和會計要求,靈活運用管理會計的工具方法,為企業(yè)經(jīng)營的各個方面提供服務。通過該系統(tǒng)的建立,搜集經(jīng)營過程中的結構性數(shù)據(jù)和非結構性數(shù)據(jù),利用專業(yè)分析技術,深度挖掘數(shù)據(jù)內(nèi)含的信息,向決策者提供使用。2.對生產(chǎn)各環(huán)節(jié)進行精細化管理該系統(tǒng)的建立,可以通過存貨系統(tǒng)、成本計算系統(tǒng)、質量管理系統(tǒng)、價值鏈分析系統(tǒng)連接企業(yè)供應、生產(chǎn)、銷售的各環(huán)節(jié)。其核心流程涉及成本收入要素處理、成本中心分析與處理、作業(yè)類型計劃與處理、內(nèi)部訂單處理、銷售與利潤計劃、成本核算與結算、成本與作業(yè)分配、一般管理費用核算、獲利性分析、全面預算與績效考核等方面。主要的業(yè)務對象包括成本要素、作業(yè)類型、收入要素、內(nèi)部定單、控制文檔、成本對象、成本核算估計、獲利性分析維度、業(yè)務計劃與預算表以及績效考核等。通過對各環(huán)節(jié)的嚴格把控,降低庫存、減少成本,提高利潤。3.促進企業(yè)完成戰(zhàn)略實施目標管理會計信息系統(tǒng)中績效評價的部分針對企業(yè)員工的完成水平進行評價,是該系統(tǒng)的重要組成部分。平衡積分卡績效評價體系是最近幾年流行在國內(nèi)外的企業(yè)績效評價體系。它分四個方面進行:企業(yè)財務業(yè)績、客戶關系、內(nèi)部業(yè)務流程以及學習和成長,對企業(yè)進行評價。在系統(tǒng)中將企業(yè)的戰(zhàn)略實施目標按照這四個部分細化成不同的財務或者非財務指標,對照不同的部門逐級細化,進行考核。該績效評價系統(tǒng)將企業(yè)戰(zhàn)略與員工考核掛鉤,既可以推動戰(zhàn)略目標的完成又可以激勵員工成長。

三、在企業(yè)中建立管理信息系統(tǒng)的途徑

第9篇

傳統(tǒng)的海洋數(shù)據(jù)服務一般是專項專建、專人專用,針對人群比較單一、數(shù)據(jù)類型比較簡單,而且在項目結束后通常建設的數(shù)據(jù)庫和應用系統(tǒng)由于沒有后期的經(jīng)費支撐而停用。本研究提出的海洋環(huán)境數(shù)據(jù)在線服務系統(tǒng)(以下簡稱系統(tǒng)),涵蓋了多專項、多學科的數(shù)據(jù),在原有數(shù)據(jù)庫、應用系統(tǒng)、專網(wǎng)基礎上進行系統(tǒng)集成、數(shù)據(jù)庫擴建,為海洋局屬各單位提供共享服務。系統(tǒng)是運用面向服務架構的設計思想搭建應用系統(tǒng)。采用并行數(shù)據(jù)庫技術實現(xiàn)大數(shù)據(jù)量的存儲、加載、更新、查詢等操作,利用ETL調(diào)度工具實現(xiàn)源數(shù)據(jù)庫到并行數(shù)據(jù)庫的數(shù)據(jù)抽取、轉換和轉載,減少重新建庫的工作量。采用虛擬化技術整合存儲、服務器、網(wǎng)絡資源,建設數(shù)據(jù)中心集群,提高資源利用率,采用域控管理機制實現(xiàn)數(shù)據(jù)安全管理,權限管理。采用VPN認證管理機制,保障系統(tǒng)安全正常運轉。

2系統(tǒng)設計

系統(tǒng)通過面向服務的總體架構,以數(shù)據(jù)的匯集、處理、應用為基礎主線,采用高速并行技術,結合虛擬化技術等先進IT技術,設計系統(tǒng)的邏輯架構、功能架構、物理架構與技術架構。

2.1邏輯架構

系統(tǒng)總體架框架由數(shù)據(jù)層、管理層和應用層3部分構成,數(shù)據(jù)層是指通過對歷史收集、專項調(diào)查、在線傳輸?shù)确绞绞占捎脭?shù)據(jù)集、數(shù)據(jù)庫方式進行數(shù)據(jù)存儲與管理;管理層是指對使用系統(tǒng)的用戶進行統(tǒng)一認證、用戶管理、數(shù)據(jù)授權等實現(xiàn)用戶有效可控的管理;應用層是指為用戶提供數(shù)據(jù)的在線查詢檢索、數(shù)據(jù)時空分布檢索、產(chǎn)品加工處理等應用服務,滿足用戶多樣化的需求。應用層與管理層通過內(nèi)網(wǎng)和專網(wǎng)訪問數(shù)據(jù)層,實現(xiàn)數(shù)據(jù)的管理、查詢、處理等服務。

(1)數(shù)據(jù)層。數(shù)據(jù)層主要由原始數(shù)據(jù)、基礎數(shù)據(jù)和成果數(shù)據(jù)3部分組成。原始數(shù)據(jù)是指海洋儀器現(xiàn)場采集的原始資料、現(xiàn)場匯交的紙質或者電子資料等。原始數(shù)據(jù)采用文件方式存儲,基于原始資料清單和數(shù)據(jù)庫文件目錄等方式進行管理。類型包括海洋觀測原始資料、海洋監(jiān)測原始資料、專項調(diào)查匯交資料等。基礎數(shù)據(jù)是指對原始數(shù)據(jù)進行整理、排重、質量控制等處理之后形成的標準化數(shù)據(jù)。內(nèi)容主要包括專項調(diào)查數(shù)據(jù)、觀測實時資料數(shù)據(jù)與國際業(yè)務化數(shù)據(jù)等,專項調(diào)查數(shù)據(jù)包括水文、氣象等9個學科,觀測實時資料數(shù)據(jù)包括海洋站、雷達、浮標等。基礎數(shù)據(jù)采用數(shù)據(jù)庫存儲方式,根據(jù)基礎數(shù)據(jù)的資料類型、資料格式、數(shù)據(jù)觀測頻率、數(shù)據(jù)傳輸頻率、數(shù)據(jù)量等設計數(shù)據(jù)庫結構。成果數(shù)據(jù)是指經(jīng)過信息提取、多源數(shù)據(jù)融合、數(shù)值模型分析、統(tǒng)計分析等手段處理后形成的數(shù)據(jù)。成果數(shù)據(jù)由要素數(shù)據(jù)、成果專題數(shù)據(jù)、資料目錄數(shù)據(jù)組成,采用數(shù)據(jù)庫存儲方式。要素數(shù)據(jù)是以基礎數(shù)據(jù)為基礎,根據(jù)數(shù)據(jù)的專題應用保障和服務需求,按照時間、空間、專題要素等進行組織的數(shù)據(jù)。成果專題數(shù)據(jù)主要包括數(shù)值型產(chǎn)品和圖形產(chǎn)品,涵蓋海洋再分析產(chǎn)品、實況分析產(chǎn)品、潮汐預報產(chǎn)品和海洋專題產(chǎn)品等。資料目錄數(shù)據(jù)主要包括原始數(shù)據(jù)集目錄索引、標準數(shù)據(jù)集目錄索引、產(chǎn)品數(shù)據(jù)目錄索引等。

(2)管理層。管理層主要負責系統(tǒng)的用戶管理、資源管理、業(yè)務流程管理和運行監(jiān)控管理等內(nèi)容。用戶管理包括用戶的創(chuàng)建、更改和刪除、角色管理、功能授權與數(shù)據(jù)授權;資源管理包括目錄索引管理、數(shù)據(jù)導航管理、信息管理與信息資源管理;業(yè)務流程管理包括數(shù)據(jù)申請、虛擬機管理、數(shù)據(jù)審批管理等;運行監(jiān)控管理包括運行環(huán)境監(jiān)控、數(shù)據(jù)資源監(jiān)控與用戶行為監(jiān)控。

(3)應用層。應用層依托于中心內(nèi)網(wǎng)和海洋專網(wǎng),基于并行數(shù)據(jù)庫技術和虛擬化技術,實現(xiàn)海洋局屬單位間的數(shù)據(jù)在線服務。應用層主要包括:數(shù)據(jù)時空分布展示、數(shù)據(jù)查詢檢索服務、數(shù)據(jù)共享虛擬環(huán)境、產(chǎn)品制作與產(chǎn)品導出功能。數(shù)據(jù)時空分布展示是利用數(shù)據(jù)的經(jīng)緯度、時間范圍、站次數(shù)等關鍵信息,通過統(tǒng)計計算數(shù)據(jù)量,依據(jù)色彩圖例,進行時空分布展示。數(shù)據(jù)查詢檢索服務包括數(shù)據(jù)庫查詢檢索和數(shù)據(jù)集查詢檢索。該服務可提供基于矢量地圖及影像地圖的地圖顯示控件的數(shù)據(jù)查詢服務,以及使用關鍵字對數(shù)據(jù)進行查詢。產(chǎn)品制作是指對資料進行整理、標準化處理,開展數(shù)據(jù)識別、解碼等預處理操作,利用數(shù)據(jù)統(tǒng)計分析工具進行產(chǎn)品的加工制作。產(chǎn)品導出是指對用戶加工制作產(chǎn)生的產(chǎn)品成果提供數(shù)據(jù)的導出功能,實現(xiàn)數(shù)據(jù)從虛擬機到本機的導出服務。

2.2物理架構

按照系統(tǒng)設計,對系統(tǒng)運行硬件環(huán)境進行搭建,硬件環(huán)境涵蓋原始數(shù)據(jù)文件存儲區(qū)、數(shù)據(jù)庫存儲區(qū)、數(shù)據(jù)處理區(qū)、數(shù)據(jù)服務區(qū)。按照網(wǎng)絡布局可化為中心內(nèi)網(wǎng)和海洋專網(wǎng),內(nèi)網(wǎng)為中心內(nèi)部用戶提供在線服務的入口,專網(wǎng)主要包括海洋觀測網(wǎng)、海洋監(jiān)測網(wǎng)、數(shù)字海洋網(wǎng);數(shù)字海洋網(wǎng)為海洋局屬單位提供在線服務的入口,用戶經(jīng)由內(nèi)網(wǎng)/數(shù)字海洋網(wǎng)通過VPN身份認證后方可進入用戶主頁,通過登錄進入個人虛擬工作環(huán)境(即用戶虛擬機),用戶可在虛擬機中對數(shù)據(jù)進行查詢、處理和產(chǎn)品制作。系統(tǒng)經(jīng)由海洋觀測網(wǎng)和海洋監(jiān)測網(wǎng)接收實時、延時觀測和監(jiān)測的海洋數(shù)據(jù),并發(fā)送到系統(tǒng)的文件存儲區(qū)和處理資料臨時存儲區(qū),由存儲管理系統(tǒng)進行數(shù)據(jù)的接收、存儲和管理。利用用戶授權管理將數(shù)據(jù)分發(fā)到數(shù)據(jù)處理用戶的虛擬機中。數(shù)據(jù)處理用戶通過中心內(nèi)網(wǎng)登錄到虛擬機后,開展數(shù)據(jù)整理、標準化處理工作后,將處理結果按照指定的路徑存放。由數(shù)據(jù)傳輸系統(tǒng)同步傳輸?shù)疆a(chǎn)品制作用戶的虛擬機中,用戶可開展產(chǎn)品加工制作并將成果按照指定的路徑存放。最終由數(shù)據(jù)交換系統(tǒng)存儲到統(tǒng)一的資料存儲管理區(qū)。ETL處理系統(tǒng)經(jīng)過數(shù)據(jù)抽取、清洗、轉換等處理,將數(shù)據(jù)處理結果和產(chǎn)品加載入庫,最終經(jīng)由中心內(nèi)網(wǎng)和海洋專網(wǎng)為海洋局屬單位提供數(shù)據(jù)共享服務。

3系統(tǒng)功能實現(xiàn)

系統(tǒng)通過用戶唯一入口登錄,保證數(shù)據(jù)安全;開發(fā)數(shù)據(jù)處理系統(tǒng),完成數(shù)據(jù)格式化轉換;利用ETL處理系統(tǒng),完成并行數(shù)據(jù)庫的數(shù)據(jù)處理與調(diào)度,包括數(shù)據(jù)抽取、數(shù)據(jù)轉換與清洗及數(shù)據(jù)加載;開發(fā)數(shù)據(jù)庫檢索、數(shù)據(jù)集檢索、文件輸出審批和文件導出等應用程序;開發(fā)系統(tǒng)運行監(jiān)控管理系統(tǒng),對系統(tǒng)的運行環(huán)境、數(shù)據(jù)狀況和用戶行為進行監(jiān)控和管理。

3.1數(shù)據(jù)處理分系統(tǒng)

3.1.1實時數(shù)據(jù)處理子系統(tǒng)

根據(jù)海洋環(huán)境數(shù)據(jù)觀測的采集規(guī)范和編碼規(guī)定,對接收、收集和整合的大量海洋調(diào)查、業(yè)務化觀測/監(jiān)測等資料,按照資料類型、觀測儀器、觀測手段、要素內(nèi)容等特點,開展數(shù)據(jù)識別、解碼、數(shù)字化、數(shù)據(jù)項檢查、代碼檢查等預處理,按照時間、空間和觀測資料類型進行排重、排序和初步質量控制,剔除異常數(shù)據(jù),依據(jù)數(shù)據(jù)來源、時間、地點等信息對數(shù)據(jù)文件進行挑選、過濾、分類存放,同時完善和新建相應的海洋環(huán)境數(shù)據(jù)存儲標準,對資料進行標準化格式轉換。

3.1.2歷史數(shù)據(jù)處理子系統(tǒng)

系統(tǒng)根據(jù)海洋環(huán)境數(shù)據(jù)觀測設備性能、儀器訂正參數(shù)、資料種類、觀測要素類型、觀測方式、資料時空分布、要素數(shù)據(jù)經(jīng)驗范圍等特點,配置質量控制參數(shù),采用相應的質量控制方法,對各類海洋環(huán)境數(shù)據(jù)進行精細化的計算機自動質量控制和人工審核。質量控制方法包括范圍檢驗、非法碼檢驗、相關檢驗、季節(jié)性檢驗、一致性檢驗、著陸點檢驗、梯度檢驗、尖峰檢驗、氣候學檢驗和極值檢驗等。

3.2數(shù)據(jù)庫加載分系統(tǒng)

數(shù)據(jù)庫加載系統(tǒng)包括通用數(shù)據(jù)庫加載系統(tǒng)與并行數(shù)據(jù)庫加載系統(tǒng)。通用數(shù)據(jù)庫加載系統(tǒng)是通過加載文件清單的方式進行數(shù)據(jù)管理,清單文件是對每類數(shù)據(jù)的特征描述,包括文件類型、文件名、調(diào)查機構、絕對路徑、備注等信息,通過一條記錄就可以確認數(shù)據(jù)類型并找到數(shù)據(jù)存儲位置。清單文件的組織結構與數(shù)據(jù)庫表結構一致,且加載系統(tǒng)可實現(xiàn)清單列名與數(shù)據(jù)庫列名對應關系的動態(tài)調(diào)整,清單配置文件設置完成后,單擊上傳,將清單的記錄入庫,加載過程中可通過狀態(tài)條查看加載進度。并行數(shù)據(jù)庫加載系統(tǒng)先按照數(shù)據(jù)庫結構利用ETL處理系統(tǒng)通過抽取數(shù)據(jù)文件的相關信息形成庫文件,將庫文件存放在規(guī)定的目錄下,并查看庫文件的文件表結構,創(chuàng)建相應的數(shù)據(jù)庫表,創(chuàng)建shell腳本并制定源文件和目標文件,最后寫入數(shù)據(jù)庫。

3.3數(shù)據(jù)查詢檢索分系統(tǒng)

系統(tǒng)主要分為兩大模塊:關鍵字查詢和圖形化檢索。系統(tǒng)界面左側顯示海洋資料體系結構,右側用于經(jīng)緯度區(qū)域選擇地圖和查詢結果瀏覽。用戶首先在左側選擇相應的航次,然后在右側地圖圈定需求的區(qū)域,再輸入關鍵字,查詢該區(qū)域的特定信息,或查詢特定區(qū)域的所有信息,或查詢所有區(qū)域的特定信息,并能夠對查詢結果進行統(tǒng)計、排序、固定格式表格的導出。

3.4運行監(jiān)控管理分系統(tǒng)

通過建立運行環(huán)境監(jiān)控信息數(shù)據(jù)庫,確定數(shù)據(jù)庫中各類監(jiān)控信息表、監(jiān)控要素字段、監(jiān)控狀態(tài)字段、表關系和數(shù)據(jù)字典等,實現(xiàn)運行環(huán)境監(jiān)控、數(shù)據(jù)監(jiān)控與用戶行為監(jiān)控的實體建設。

3.4.1運行環(huán)境監(jiān)控與管理子系統(tǒng)

運行環(huán)境監(jiān)控與管理子系統(tǒng)包括硬件環(huán)境監(jiān)控和軟件環(huán)境監(jiān)控兩部分。硬件環(huán)境監(jiān)控是通過對系統(tǒng)局域網(wǎng)硬件設備運行的日志信息進行提取、分析,實現(xiàn)對服務器、存儲陣列、交換機、路由器、防火墻等設備故障診斷、告警等功能。軟件環(huán)境監(jiān)控是通過研制各商業(yè)軟件(操作系統(tǒng)、數(shù)據(jù)庫軟件等)與各業(yè)務系統(tǒng)(數(shù)據(jù)處理軟件等)運行日志讀取接口,實時讀取日志信息并加載運行環(huán)境監(jiān)控信息數(shù)據(jù)庫。

3.4.2數(shù)據(jù)資源監(jiān)控與管理子系統(tǒng)

數(shù)據(jù)資源監(jiān)控與管理子系統(tǒng)通過對數(shù)據(jù)匯集狀態(tài)實時監(jiān)控,實現(xiàn)信息反饋、到期告警、匯集情況季報與年報輸出等功能,實現(xiàn)對海洋數(shù)據(jù)處理和質量情況的實時監(jiān)控和預警、數(shù)據(jù)處理任務。調(diào)度管理;通過提取用戶登錄日志、數(shù)據(jù)庫與數(shù)據(jù)集訪問日志、數(shù)據(jù)申請信息進行分析,實現(xiàn)數(shù)據(jù)的服務內(nèi)容、服務對象、應用領域情況的實時監(jiān)控。

3.4.3用戶行為監(jiān)控與管理子系統(tǒng)

用戶行為監(jiān)控與管理子分系統(tǒng)實時對用戶的登錄、數(shù)據(jù)資源訪問、外部設備使用、軟件安裝預警和設備接入等行為進行監(jiān)控,具有終止用戶操作、告警提示、季度分析報告輸出等功能,在提供用戶方便使用的前提下保障系統(tǒng)的穩(wěn)定運行。

4關鍵技術

根據(jù)系統(tǒng)總體功能定位,在已有的工作基礎之上,以數(shù)據(jù)的匯集、處理、存儲、管理、服務過程為主線,采用操作系統(tǒng)、數(shù)據(jù)庫、數(shù)據(jù)管理與共享3層軟件體系,集成各類自主研發(fā)功能,構建靈活、穩(wěn)定的架構模式。架構主要基于虛擬化技術、并行處理技術、數(shù)據(jù)檢索并行處理技術與J2EE技術等關鍵技術。

4.1虛擬化技術

由于用戶對處理器、內(nèi)存等硬件和操作系統(tǒng)需求不同,用戶工作使用的數(shù)據(jù)處理軟件、資料質量控制軟件和產(chǎn)品制作軟件不盡相同,為滿足用戶需求,同時提高服務器、存儲陣列等資源的利用率,采用服務器虛擬化技術實現(xiàn)滿足不同用戶需求的虛擬機,同時消除服務器與存儲陣列對應用系統(tǒng)的物理局限性。服務器虛擬化技術是將一個物理服務器虛擬成若干個服務器使用,使得單個物理服務器上可以運行多個虛擬服務器。

4.2并行處理技術

利用高速并行處理引擎,完成多層次海洋數(shù)據(jù)體系動態(tài)更新的ETL(抽取、轉換、加載)并行處理,實現(xiàn)整個系統(tǒng)的數(shù)據(jù)處理與調(diào)度,包括數(shù)據(jù)抽取、數(shù)據(jù)傳輸、數(shù)據(jù)轉換與清洗、數(shù)據(jù)加載以及調(diào)度監(jiān)控。

4.2.1數(shù)據(jù)抽取

數(shù)據(jù)抽取的方式包括:全表刷新、時間戳增量、日志增量和時間戳比較。系統(tǒng)采用時間戳增量方式完成數(shù)據(jù)的抽取,時間戳增量方式是通過記錄時間將增量數(shù)據(jù)從源數(shù)據(jù)抽取出來,以附加的方式加載到高速數(shù)據(jù)存儲中,完成源數(shù)據(jù)中的記錄定期更新。時間戳增量方式是在源系統(tǒng)需要抽取的數(shù)據(jù)表中增加時間戳字段,用以表示數(shù)據(jù)的修改或新增時間,在數(shù)據(jù)抽取時通過它來識別和抽取增量數(shù)據(jù)。

4.2.2數(shù)據(jù)轉換

由于海洋數(shù)據(jù)通過調(diào)查、匯交、網(wǎng)載等多種手段獲取,每種手段來源的數(shù)據(jù)存在定義不規(guī)范、格式不統(tǒng)一等情況,導致系統(tǒng)的源數(shù)據(jù)存在重復、錯誤、格式不一等情況。數(shù)據(jù)轉換是將多來源、多調(diào)查手段、多要素和多格式的數(shù)據(jù)進行轉換,形成格式統(tǒng)一、實用性強的數(shù)據(jù)存儲層。

4.2.3數(shù)據(jù)加載

將業(yè)務系統(tǒng)和源數(shù)據(jù)庫層抽取、轉換后的數(shù)據(jù)加載、更新到目標數(shù)據(jù)庫中。根據(jù)業(yè)務數(shù)據(jù)的實際情況,對不同業(yè)務系統(tǒng)的數(shù)據(jù)采用不同的加載周期;根據(jù)數(shù)據(jù)的抽取策略以及業(yè)務規(guī)則確定,采用直接追加、全部覆蓋、更新追加等多種方式進行處理。

4.2.4高速并行調(diào)度

利用高速并行ETL調(diào)度,按照既定步驟完成數(shù)據(jù)抽取、轉換、加載的全部時間和流程的調(diào)度任務。調(diào)度的內(nèi)容包括:從各業(yè)務系統(tǒng)到數(shù)據(jù)層的調(diào)度,實現(xiàn)多來源數(shù)據(jù)的提取、轉換和加載;從數(shù)據(jù)層到數(shù)據(jù)存儲的調(diào)度,實現(xiàn)了原始數(shù)據(jù)、基礎數(shù)據(jù)、產(chǎn)品數(shù)據(jù)的高速并行存儲;從數(shù)據(jù)存儲到應用層的調(diào)度,實現(xiàn)數(shù)據(jù)的并行查詢檢索。

5結束語

主站蜘蛛池模板: 亚洲制服无码 | 精品福利在线 | 国产黄色在线免费观看 | 国产一区二区免费在线 | 五十路在线播放 | 国产激情视频在线 | 狠狠干91 | eeuss中文| 成人羞羞网站 | 黄色男女视频 | 丰满少妇久久久久久久 | 国产盗摄一区二区三区 | 色涩网站 | 欧美日韩一区二区三区不卡 | 狠狠操在线 | 久久激情免费视频 | www久久com| 超碰偷拍| www.97av| 国产精品视频在线观看 | 欧美一级欧美三级 | 免费国产成人看片在线 | 成人va视频| 中文字幕第十一页 | 久久久综合色 | 欧美亚洲精品在线 | 亚洲影视网 | 人人色视频 | 色婷婷丁香 | 日韩一级片在线免费观看 | 中文字幕一区二区在线播放 | 俺去啦最新网址 | 国产精品视频一区二区三区不卡 | 国产视频自拍一区 | 精品一区二区三区免费 | 亚洲成网站 | 92久久精品一区二区 | 久久观看最新视频 | 日韩专区在线播放 | 久久久久久久久成人 | 手机成人免费视频 |