首頁 > 大數據 > 正文

氣象數據資源建設及相關問題初探

2020-10-09 09:07:51  來源:CIO時代網

摘要:氣象數據資源需要管理,更需要建設——因為數據資源是氣象部門開展各項工作的基本條件和基礎,事業的發展,政府和社會各界對氣象服務需求的日益增加和變化,都對數據資源產生此起彼伏的新的要求,唯有做好數據資源建設,夯實發展基礎,營造良好的發展條件,氣象部門才有可能適應時代的變化和發展。
關鍵詞: 氣象數據
氣象數據資源建設及相關問題初探

沈文海1、2、唐偉2、王喆2
(1、國家氣象信息中心,2、中國氣象局發展規劃院)
 
1、引言
  氣象數據資源需要管理,更需要建設——因為數據資源是氣象部門開展各項工作的基本條件和基礎,事業的發展,政府和社會各界對氣象服務需求的日益增加和變化,都對數據資源產生此起彼伏的新的要求,唯有做好數據資源建設,夯實發展基礎,營造良好的發展條件,氣象部門才有可能適應時代的變化和發展。在目前數據已被列為社會生產要素,大數據已成為國家戰略的當下,完備而科學有序的氣象數據資源建設顯得尤為重要和迫切。
  本文擬對氣象數據資源的建設問題,進行一些初步探討。
 
2、相關概念
2.1 信息資源和數據資源
      從廣義概念出發,信息是事務自身顯示其存在方式和運動狀態的屬性,是客觀存在的事務現象。【1】
     1972年,哈佛大學信息政策研究中心主任安東尼•G•歐廷格(A.G.Oettinger)首次提出了物質、能源和信息是構成社會的三大基本要素,并指出:沒有物質,什么都不存在;沒有能源,什么都不會發生;沒有信息,任何事物都沒有意義。【2】由此開啟了信息資源的研究熱潮。
      有關信息資源的定義,業界眾說紛紜,德國信息管理專家斯特羅特曼認為,信息資源由三個重要部分構成:信息系統、信息內容和信息基礎結構。烏家培教授1996年撰文指出,“對信息資源有兩種理解,一種是狹義的理解,指信息內容本身;另一種是廣義的理解,指的是除信息內容本身外,還包括與其緊密相聯的信息設備、信息人員、信息系統、信息網絡等”。【3】代根興、周曉燕將信息資源定義為“經過人類選取、組織、序化的有用的信息集合”。【4】
      本文采用代根興等對信息資源“狹義”的定義,即:信息資源乃信息內容本身。
      進入新世紀,數字化的信息成為信息的主要形態,數字在各方面都在逐漸替代信息,成為主要的術語。【2】有關信息資源的研究工作逐漸演化為對于數據資源的研究。
2.2 數據資源的一些特性
     不同于能源和材料,信息資源(或曰數據資源)是可同時使用、異地使用、無損耗反復使用的可共享資源。因此“可共享性”是數據資源最本質的特性。
     此外,數據資源同時具備“時效性”、“可建設性”、“再生性”、“可傳遞性”、“依附性”、“價值性”和“完整性”等特點。其中:
    依附性:指數據資源必須借助某種符號形態(如:文字、聲音、圖像等),并依附于某種載體或媒介(如:紙張、人的五官、磁介質載體等),方才可能進行傳播。
    完整性:數據資源的內容如果遭到篡改或破壞,導致內容的不完整或虛假,則其價值便被損壞,從而喪失了數據資源的意義。殘缺且無法修復的、或者被篡改的數據不能稱之為數據資源。【1】
    限于篇幅,其它特性因字面含義比較易于理解,故不再解釋。
2.3 數據資源建設
     吳慰慈等認為,“信息資源建設是人類對處于無序狀態的各種媒介的信息進行有機集合、開發、組織的過程”【4】。孟雪梅認為,“信息資源建設是指在一定范圍內的信息資源中心對信息資源進行有計劃的采集、積累、開發并合理布局,以滿足信息用戶的需求,保障社會發展和國家建設需要的全部活動”【5】金勝勇等在綜合了國內外多名學者對信息資源建設的定義后認為,“所謂信息資源建設,就是人類對處于無序狀態的各種媒介信息進行選擇、采集、組織和開發等活動,使之形成可資利用的信息資源體系的全過程。”【1】
     筆者認為,氣象數據資源建設是指“氣象部門對與氣象工作相關的各種信息資源進行以數據為信息載體的采集、收集、組織和開發,以滿足氣象工作以及社會各界對氣象服務的需求的所有工作的全體。”這里有三層含義:
     其一,氣象數據資源建設的對象包括與氣象部門各項工作(業務、科研、管理)相關的所有數據。
     其二,氣象數據資源建設的目的是滿足氣象部門、氣象行業在運行和發展中對數據資源的需求,同時滿足社會發展及國家建設對氣象服務及氣象數據資源的需求。
     其三,氣象數據資源建設是氣象部門不可取代,更不可推諉、不可懈怠的使命和職責。
 
3、氣象數據資源建設的主要內容
     氣象數據資源建設的目的,是通過應用、開發氣象數據資源,為不斷提高氣象部門的業務水平、管理水平和科研能力提供高質量的數據和信息。
     氣象數據資源建設可劃分為:數據資源建設規劃、數據采集、數據質量管控、數據組織、數據產品制作等五個主要環節。
(1)數據資源建設規劃
     顧名思義,氣象數據資源建設規劃,就是以當前及未來氣象部門運行和發展目標為依據,對氣象部門業務、科研、運營、管理等所有工作所需要的數據,從采集、收集、處理、組織到使用等所有環節的全面的工作規劃。
     數據對于氣象部門而言是不可或缺的生命資源,是名副其實的最重要的生產要素之一;數據資源的建設牽涉到氣象部門信息化建設的方方面面,因此數據資源的建設規劃事實上是規劃氣象部門信息化建設工作的最重要的內容之一。
(2)數據采集
     這里的數據采集包含對數據的采集和收集兩種方式,前者是對信息對象以數據形式的直接提取和獲取,后者是對已存在的、散布于各處的、以各種媒介形式存在的有關數據,以明確的目的、原則和篩選規則進行的收集和獲取。以氣象部門為例,氣象探測業務所涉及的氣象數據的獲取屬于“采集”,而通過互聯網獲取散布于互聯網之上的氣象觀探測數據則屬于“收集”。
     數據(或曰信息)遍布于宇宙,無處不在。獲取哪些數據,取決于我們需要哪些數據(或曰信息),沒有需求(含潛在需求)的數據不能稱其為數據資源,亦即:沒有使用者的數據只能是垃圾,沒有獲取和存儲的必要。
     需要強調的是,對于氣象部門而言,數據資源不單指氣象觀探測數據,也包含管理領域的各種數據,以及運營領域里的各種數據,這兩個領域數據資源的識別和確定,以及相關規范的制訂,也需引起足夠重視。
(3)數據質量管控
     數據質量管控包括數據的質量管理和質量控制兩部分內容,前者屬于管理工作,后者則屬于技術工作,由于這些內容對于氣象部門而言已耳熟能詳,限于篇幅,不再贅述。
(4)數據的組織
     數據的組織是指對采集、收集到的原始數據進行有序化、規范化、系統化的處理,使之從無序變為有序,成為便于使用(尤其是便于分析)的形式,為數據分析提供復合要求的數據形態。
     奈斯比特認為,信息社會發展到今天,一個很大的變化就是信息由存儲和提供變為信息選擇,信息服務的功能越來越多地體現在整合信息資源,為信息需求者提供高效率的獲取途徑和方法,幫助需求者提高對信息的分析判斷能力上【1】——數據同樣也是如此。
     數據選擇是指對大量的原始數據及經過加工的數據進行篩選和判別,選取所需數據的過程和行為。而數據的組織則是根據明確的工作需求,將根據需求選擇出來的數據按一定的規則予以組織起來的過程。
     自氣象現代化(尤其是氣象信息化)工作開展以來,氣象觀探測數據的數據組織工作幾乎都是在觀探測數據采集并形成數據文件的過程中完成的,帶有鮮明的觀測方式特點,如:地面常規觀測數據、地面雨量站數據、天氣雷達觀測數據、氣象衛星觀測數據、大氣本底站觀測數據等——管理方面的數據也有類似的特點。
     自關系型數據庫在氣象部門推廣應用以來,氣象觀探測數據中那些以結構化數據為形態特征的數據,在關系型數據庫強大的存儲管理及檢索能力的支持下,已可以較為便捷地在數據庫內各表之間按照指定規則進行規范地數據組合,以形成用戶所需要的數據資源。即便對半結構化或非結構化的觀探測氣象數據,其數據的重新組織目前也已具備了較為豐富的技術和手段。
     目前,氣象管理數據是氣象數據組織工作目前尚待開墾的處女地,而所面臨的困難也并非來自技術,而是數據共享和相關的政策法規。
(5)數據產品制作
     氣象業務和科研工作需要獲取地球大氣盡可能詳細、完整的狀態信息(包括歷史狀態信息),為此多年來氣象部門持續地發展地基、天基、空基觀探測方法和手段。各種觀測手段都有一定的局限性,克服各種觀探測手段所獲數據的局限性,形成立體的、空間和時間間隔盡可能稠密的、能盡可能逼真反映地球大氣實際運動狀況的網格化數據產品,供氣象科研和業務工作使用,這是氣象觀探測數據產品制作的主要目的。
     因此,數據產品的制作對于氣象部門而言是異常重要的。網格化的數據產品需要天基、空基和地基等各種先進和基本觀探測手段所獲數據的深度融合,這需要深厚的技術背景和扎實的科學研究的支持。
     氣象觀探測數據產品的制作是氣象數據資源建設十分重要的內容之一,也是構建數字大氣最重要的途徑和手段。
 
4、建設規劃的意義和作用
4.1 主要內容
(1)綜合分析,確定數據資源的建設目標
     氣象數據資源建設規劃是為滿足氣象事業發展規劃中對數據資源的需求而設立的以氣象數據為具體對象的專項建設規劃,因此氣象事業發展規劃是它的出發點和立足點,各專業單位在各自專業發展規劃中對數據資源的需求是其最主要的建設依據。
     規劃編制人員在對各專業單位數據需求進行綜合分析歸納的基礎上,根據氣象部門事業發展整體目標,并充分分析業界(國內外)發展動態以及技術現狀和走勢預測,制定出未來氣象數據資源建設的具體目標。
(2)制定相應的工作計劃
     在確立氣象數據資源建設目標的基礎上,通過對氣象部門在數據資源建設能力方面的分析評估、業界技術發展動態和趨勢分析、新技術引進和創新以及專業化團隊建設可行性分析等基礎上,制訂出相應的科學合理的氣象數據資源建設的工作計劃;使氣象部門在有限的時間內,以最合適的規模、最合適的成本、來完成最合適的數據資源建設工作。
(3)需要注意的問題
     各專業單位在未來專業發展過程中對數據的需求,是制訂氣象數據資源建設規劃的重要依據,因此各專業單位對本單位的數據需求應當明晰、全面和準確。
    數據資源建設規劃的依據不僅僅是對各單位數據需求簡單的疊加和去重,還應包括對信息技術現狀的了解和把握、業界發展動態的了解和深入分析、本單位在技術和人才方面的差距評估以及彌補這些差距的方法、成本和進度預估等。只有科學的、綜合性的、實事求是的分析,才有可能制訂出合理可行的建設規劃和工作計劃,使氣象事業的發展進程不走彎路。
     氣象數據資源是氣象部門最重要的戰略資源,是推動氣象事業存在和發展的重要支柱。而氣象事業的存在和發展是業務運營、科研開發、行政管理等各部分工作共同作用的結果,因此這里所說的氣象數據資源,非但包含業務及科研所使用的氣象觀探測數據,而且包括氣象管理數據和業務系統運營狀態數據等日常工作中所需要的數據。
4.2 意義和作用
(1)形勢發展的需要
     盡管數據始終是氣象部門賴以生存的最珍貴資源,盡管“數據是生產要素”已在氣象部門內外達成廣泛共識,但與社會發展所經歷的階段一樣,這些認識和共識在氣象部門并非與生俱來,而是事業發展、技術進步達到一定程度、步入一個新的階段后的自然和必然結果。
     每個階段都有自己的主題,氣象部門的工作應當順應形勢的發展,注入時代的新內容。身處大數據時代,數據的重要性、建設數據資源的重要性,在這個階段顯得十分突出。我們應當做一些適合大數據時代特點的、以數據為對象的新的工作。在未來工作的規劃中,對作為氣象部門“生命源泉”的氣象數據的建設工作進行科學合理的專項規劃,將其作為制訂和調整氣象部門數據資源建設的指導綱領,是理所當然、水到渠成的。何況,缺少數據資源建設規劃,已經使我們工作中暴露出的一些無序狀態愈發明顯了。
(2)明確數據的需求和滿足需求的可能性
     一個人在工作中,為滿足工作需要而須獲得哪些信息以及這些信息的獲取時效,對他個人而言,應當是了然于胸的,單位也是如此。制訂氣象數據資源發展規劃,既是為滿足所有單位、個人對數據的需求,同時也是對這些埋藏于單位領導和工作人員心中、尚未見諸文字的需求的明晰化、集約化和系統化過程,使氣象部門各有關方面對各自對數據的需求和用途更加了解、更加明確。
     需求的提出是一個方面,如何滿足這些需求是另一個方面。面對信息(或曰數據)需求清單,最大的問題是獲取這些信息的途徑、方法、手段、時效以及成本,很多時候由于技術、時間以及成本所限,并非所有需求都能得到充分滿足。分析氣象數據資源需求滿足的可行性的過程,也是重新審視氣象事業發展規劃合理性、可行性的過程。因此制訂科學合理的氣象數據資源建設規劃,既是氣象事業發展規劃的助力器,也是它的糾錯機和矯正器。
(3)使數據以資源的形式發揮出應有價值
     所謂資源指的是一切可被人類開發和利用的,用以創造物質或精神財富的具有一定量的積累的客觀存在形態,在總體上包括物質、能量和信息三種類型【6】。將數據稱為“數據資源”,是因為它能夠被開發利用。無用的數據不是資源,而是垃圾。氣象數據資源建設規劃是根據氣象事業發展過程中對數據的實際需求而制定的,因而規劃建設過程中所有生產的數據都有實際需求對象和明確的使用者(或曰用戶)。換句話說,沒有實際需求對象和明確使用者(哪怕是潛在的需求對象和使用者)的數據,不是氣象數據資源,不在建設規劃的考慮范圍之內。
  數據的價值在于應用,氣象數據資源的價值首先在于其在氣象部門和行業中深度的、充分的應用。我國較之氣象發達國家在數值預報模式中對氣象觀探測數據的使用程度有很大差距。這說明從資源的角度審視,許多數據的價值尚未得到充分挖掘。氣象數據資源建設規劃的作用之一,就是將這些具有明確潛在應用價值的數據及其應用領域一一羅列出來,參照和學習國外氣象發達國家的先進經驗,擬定科學有序的開發應用方案并逐一落實,盡快大幅提高這些數據資源的應用范圍和應用深度,盡早把巨大的潛在價值轉化為現實的實際價值。
 
5、必要的原則和共識
      抽象地審視數據資源建設,不難發現其內容并不復雜,因此關鍵問題在于如何具體地、按照實際情況來本地化這些內容,并在工作中貫徹執行。在這里,建設原則起著至關重要的綱領性作用。
5.1數據資源建設原則
     追溯以往,對信息資源的研究發軔于“圖書館學”。印度圖書館學家阮岡納贊(S.R.Ranganathan)于1931年出版的《圖書館學五定律》中,首次設立了圖書館的五個原則:(1)書是為了用的;(2)每位讀者有其書;(3)每本書有其讀者;(4)節省讀者的時間;(5)圖書館是一個生長著的有機體。【7】此后有關原則幾經發展豐富。進入二十一世紀,圖書館(Library)的含義已遠遠超出了二十世紀初及以前的范疇,“書籍”也已被更具時代特色的“信息”或“數據”所代替;金勝勇等根據新形勢下的實際情況,將原有的五原則拓展為:
  (1)一切信息資源都是有價值的(all resources are valuable)。
  (2)一切信息資源都是為了用戶(all resources are to the users)。
  (3)人人享有自由平等地利用信息資源的權利(everyone has the right to free and equal access to information resources)。
  (4)用戶對信息資源的一切需求都是對的(users’all information demand is correct)。
  (5)信息資源系統是一個不斷發展變化的有機體(information resources system is a organism with continual changing)。【1】
  筆者認為,將其經過適當化裁及本地化處理,沿用到氣象數據資源上也是基本合適的,即:
  (1)所有氣象數據資源都是有價值的。
  (2)所有氣象數據資源都是為了使用,都有明確的使用者。
  (3)氣象部門內所有人員都享有自由平等地使用與其工作相關的數據資源的權利。
  (4)用戶因工作而產生的對氣象數據資源的所有要求,都是合理的,都應受到重視,都應盡力得到滿足。
5.2 三個共識
(1)價值體現
     數據資源的價值,體現在其被使用的程度。被使用的程度越高、范圍越廣,其價值的體現便愈加充分。反之,沒有被使用的(或曰沒有用戶的)數據,是沒有價值的。沒有價值的數據不是數據資源。
(2)價值利用
     所有數據都有其生命周期,在數據資源的生命周期(尤其是業務有效期)內,使其盡可能多地被更多的用戶使用,是氣象數據資源建設者和管理者不可推卸的責任。
(3)數據資產
     數據資源和數據資產,這是對數據描述或評價的兩個不同視角。數據首先應當成為資源,然后才可能成為資產,因為只有成為了資源,數據才有可能具有價值,才有可能成為擁有者的資產。目前所開始大行其道的數據資產管理,是目前大數據時代為解決數據資源共享問題而提出的解決方案之一。
  筆者相信,在氣象部門內如果達成上述共識,確立了數據資源建設原則,則氣象數據資源建設的方向和路徑便大致明晰了。
 
6、結語
     事實上,氣象部門乃至氣象行業在建立之初,便一直在從事著氣象數據資源的建設工作,目前我們所應當做的,是將該項工作提升到一個更新的、全局性的高度,用數據來縱橫貫穿部門內所有單位、所有專業和業務,通過數據資源建設將部門內所有單位、所有業務緊密聯系起來,形成一個有機的、敏捷的、彼此呼應和協同的整體,并在此過程中運用更加科學有效的方法來審視以往的工作,發現弱點和缺失,予以彌補、補充和完善,以適應大數據時代氣象部門所被賦予的新的職責和使命。
 
2020年9月29日—10月4日,初稿
10月5—6日,第一次修改
 
【參考文獻】
【1】金勝勇等.2017.信息資源建設[M].北京:科學出版社,2017.5.
【2】楊學山.2020. 數字作為生產要素的幾點分析[R].北京:DQMIS2020第四屆數據質量管理國際峰會,2020.9.10.
【3】烏家培.1996.經濟信息信息化[M].大連:東北財經大學出版社,1996.
【4】吳慰慈.2000.從文獻資源建設到信息資源建設[J]. 中國圖書館學報(雙月刊),(5),24-27.
【5】孟雪梅.2002.信息資源建設[M].哈爾濱:黑龍江人民出版社
【6】百度百科,https://baike.baidu.com/item/%E8%B5%84%E6%BA%90/9089683?fr=aladdin
【7】[印度]阮岡納贊.1988.圖書館學五定律[M].北京:書目文獻出版社,1988.11。


第三十屆CIO班招生
法國布雷斯特商學院碩士班招生
北達軟EXIN網絡空間與IT安全基礎認證培訓
北達軟EXIN DevOps Professional認證培訓
責編:zhangwenwen
排列五中三个号多少钱