① 大數據時代是一把雙刃劍嗎
大數據與生物信息學的應用研究與實踐
摘要:2月20日,青島大學數據科學與軟體工程學院教授、博士、副院長李勁華在CIO時代APP微講座欄目作了題為《大數據與生物信息學的應用研究與實踐》的主題分享,他從大數據領域背景和有關科研工作(大數據在生物信息學方面的教學和研究工作)兩大方面展開敘述。
關鍵詞:CIO時代APP微講座
一、相關背景
(一)生物信息學產生背景
眾所周知,生物信息學是八十年代末隨著人類基因組計劃的啟動而興起的一門畸形交叉學科,通過對生物學實驗數據的獲取、加工、存儲、檢索與分析,進而達到解釋數據所蘊含的生物學意義的目的。當前生物信息學發展的主要推動力來自於分子生物學,生物信息學的研究主要集中於核苷酸和氨基酸序列的存儲、分類、檢索和分析等方面。因此,目前的生物信息學可以狹義的定義為將計算機科學和數學應用於生物大分子信息的獲取、加工、存儲、分類、檢索與分析,以達到理解這些生物大分子信息的生物學意義的交叉學科,實質是理論概念與實踐應用並重的學科。
生物信息學的產生與發展已有三十多年,美國人類基因組計劃中對基因組信息學的定義是一門學科領域,包含著基因學組信息的獲取、處理、存儲、分配、分析和解釋的所有方面。自1990年美國啟動人類基因組計劃以來,人與模式生物基因組的測試工作發展極為迅速,提前完成了約四十多種生物的全基因測試與工作。截止到目前,僅登錄在美國GeneBank的DNA系列總量便超過70億鹼基因對。此外,迄今為止,已有一萬多種蛋白質的空間結構以不同的解析度被測定。基於cDNA序列測試所建立起來的EST資料庫已超過數百萬條,在這些數據基礎上派生、整理出來的資料庫已達5000多個。
這一切構成了一個生物學數據的海洋。這種科學數據的極速和海量積累在科學發展史上是空前的,但數據並不等於信息和知識,當然,它是信息和知識的源泉,關鍵在於如何從中對其進行挖掘。與正在以指數方式增長的生物學數據相比,人類相關知識的增長卻十分緩慢。一方面是巨量的數據,另一方面是我們在醫學、葯物、農業與環境等方面對新知識的渴求,這些新知識將幫助人們改善其生存環境和提高生活質量。這就構成了一個極大的矛盾。這個矛盾就催生了一門新興的交叉科學,這就是生物信息學。
信息學大數據研究工作主要以分析海量多元組學數據為目標,組學大數據為生命科學帶來了前所未有的機遇,在研究基因功能、疾病機理、精準醫學等方面具有重要意義。大數據的規模性、多樣性、高速性等這些特徵為生物信息學帶來了新的挑戰,在數據計算方面,亟需解決中小實驗室對計算資源的彈性需求;在數據分析方面,亟需多組學整合分析體系解決生物學問題。缺乏相應的生物學工具是大數據時代生命科學領域面臨的主要瓶頸。
(二)青島大學生物信息學研究背景
1.2009年,位於武漢大學的國家軟體工程重點實驗室在青島舉辦暑期學校,首次聽到西方學者提到計算機以生物學跨學科研究,主要包括基因測序、生物大數據可視化等。
2.2011年起,青島大學與深圳華大基因研究院聯合創立青島大學華大基因創新班,培養大數據時代生物基因組學、生物信息學領域拔尖創新人才。在大學生入校後一個月的時間內,從全校九千多名不同專業學生中擇優挑選30人,按照厚基礎、寬口徑、綜合式、國際化的要求,在學科基礎課和專業課程階段設有兩個選課模塊,一個是醫學檢驗,一個是信息處理。
3.2016年,與青島大學醫學部教授合作,共同申報獲批了生物信息學二級學科的碩士點,研究方向主要是:序列和基因組學的分析、葯物研發、生物學網路整合、數據挖掘和數據分析(主要是在生物學應用領域)、生物信息學軟體方法學的研究。
二、生物信息學研究的主要內容、主要問題和關鍵技術
(一)生物信息學研究的主要內容
1.基因組學研究
基因組學包含了構成和維持一個生活有機體所必備的基本信息,由細胞內進行的多種分子生物學反應將這些信息轉換為真正的生命現象。基因組的一部分編碼蛋白質和RNA,其他部分調控這些大分子的表達。表達的蛋白質及RNA折疊為高度專一的三維結構,在體內的特定位置上實現這些功能,這些過程的大量細節都是在分子生物學研究的實驗室里揭示出來的,形成大量數據,存儲於資料庫中。生物信息學試圖從這些數據中提取新的生物學信息和知識,是一門植根於全面深入的實驗事實和數據的理論生物學。
2.生物信息的收集、存儲、管理與提供。
包括建立國際基本生物信息庫和生物信息傳輸的國際網路系統;建立生物信息數據質量的評估與檢測系統;生物信息的在線服務;生物信息可視化和專家系統。
3.基因組序列信息的提取和分析。
包括基因的發現與鑒定,如利用國際EST資料庫和各自實驗室測定的相應數據,經過大規模並行計算發現新基因和新SNPs以及各種功能位點;基因組中非編碼區的信息結構分析,提出理論模型,闡明這些區域的重要生物學功能;進行模式生物完整基因組的信息結構分析和比較研究;利用生物信息研究遺傳密碼起源、基因組結構的演化、基因組空間結構與DNA折疊的關系以及基因組信息與生物進化關系等生物學的重大問題。
4.生物信息分析的技術與方法研究。
包括發展有效的能支持大尺度作圖與測序需要的軟體、資料庫以及若干資料庫工具,如電子網格等遠程通訊工具;改進現有的理論分析方法,如統計方法、模式識別方法、隱馬爾科夫過程方法、神經網路方法、復雜性分析方法、密碼學方法、多序列比較方法等;創建一切適用於基因組分析的新方法、新技術。包括引入復雜系統分析技術、信息系統分析技術等;
5.應用與發展研究。
匯集與疾病相關的人類基因信息,發展患者樣品序列信息檢測技術和基於序列信息選擇表達載體、引物的技術,建立與動植物良種繁育相關的資料庫以及與大分子設計和葯物設計相關的資料庫。
(二)研究問題
1.生物大數據的存儲與管理
包括生物大數據的存儲結構、存儲標准、管理技術等,生物大數據數量大、結構復雜、存儲標准多樣,存在非結構化數據、半結構化數據和結構化數據等多種數據結構,如何選擇分布式文件系統、分布式數據組合、分布式並行資料庫系統也是生物大數據存儲與管理技術的主要問題之一
2.生物大數據可視化
生物大數據由於數量巨大,具有普遍生物意義,合理的可視化可以幫助生物學家快速理解和分析生物數據。
3.生物大數據的分析與處理
整合多組學數據進行計算分析已解決實際的生物問題。
(三)關鍵技術
生物大數據領域中的關鍵技術有:
1.生物大數據標准化和集成、融合技術
研究組學數據、醫療數據和健康數據集成融合關鍵技術,研究開發組學、醫療和健康數據信息模型與集成引擎,研究基於國內外標准規范的消息、文檔等介面實現技術,基於下一代互聯網技術網路安全技術和高吞吐量傳輸技術。
2.生物大數據表述索引、搜索與存儲訪問技術
重點突破生物大數據資源描述和並行訪問技術,構建生物大數據高效索引和可靠可擴展存儲管理系統,基於語義的生物大數據資源檢索、生物醫療數據關聯搜索等關鍵技術,建立生物大數據資源搜索與獲取服務系統。
3.心血管疾病和腫瘤疾病大數據處理分析與應用研究
分別針對心血管疾病和腫瘤疾病,集成電子病歷、圖像影像、臨床檢驗數據等多類型數據(覆蓋50萬以上個體人群,總數據量50TB),開展醫療大數據的處理、存儲、分析、應用研究,為提高重大疾病的診治水平提供大數據支撐。
4.基於區域醫療與健康大數據處理分析與應用研究
選擇覆蓋100萬以上個體人群,總數據量不少於100TB的區域醫療與健康數據,通過處理、存儲、分析、整合,構建面向健康服務的知識庫及支撐平台,並提供應用服務。
5.組學大數據中心和知識庫構建與服務技術
集成包括基因組、蛋白質組等組學數據,總數據量不少於100TB,至少60%以上的數據提供對外訪問,重點突破個人基因組可視化技術,組學注釋與疾病風險評估技術,建立組學大數據知識庫及搜索引擎、數據挖掘和可視化分析平台。
② 區塊鏈與大數據存儲究竟有著怎樣的關系
區塊鏈和大數據存儲的關系如下:
一、數據安全:區塊鏈讓數據真正「放心」流動起來
區塊鏈以其可信任性、安全性和不可篡改性,讓更多數據被解放出來。用一個典型案例來說明,即區塊鏈是如何推進基因測序大數據產生的。區塊鏈測序可以利用私鑰限制訪問許可權,從而規避法律對個人獲取基因數據的限制問題,並且利用分布式計算資源,低成本完成測序服務。區塊鏈的安全性讓測序成為工業化的解決方案,實現了全球規模的測序,從而推進數據的海量增長。
二、數據開放共享:區塊鏈保障數據私密性
政府掌握著大量高密度、高價值數據,如醫療數據、人口數據等。政府數據開放是大勢所趨,將對整個經濟社會的發展產生不可估量的推動力。然而,數據開放的主要難點和挑戰是如何在保護個人隱私的情況下開放數據。基於區塊鏈的數據脫敏技術能保證數據私密性,為隱私保護下的數據開放提供了解決方案。數據脫敏技術主要是採用了哈希處理等加密演算法。例如,基於區塊鏈技術的英格碼系統(Enigma),在不訪問原始數據情況下運算數據,可以對數據的私密性進行保護,杜絕數據共享中的信息安全問題。例如,公司員工可放心地開放可訪問其工資信息的路徑,並共同計算出群內平均工資。每個參與者可得知其在該組中的相對地位,但對其他成員的薪酬一無所知。
數據HASH脫敏處理示意圖
三、數據存儲:區塊鏈是一種不可篡改的、全歷史的、強背書的資料庫存儲技術
區塊鏈技術,通過網路中所有節點共同參與計算,互相驗證其信息的真偽以達成全網共識,可以說區塊鏈技術是一種特定資料庫技術。迄今為止我們的大數據還處於非常基礎的階段,基於全網共識為基礎的數據可信的區塊鏈數據,是不可篡改的、全歷史的、也使數據的質量獲得前所未有的強信任背書,也使資料庫的發展進入一個新時代。
四、數據分析:區塊鏈確保數據安全性
數據分析是實現數據價值的核心。在進行數據分析時,如何有效保護個人隱私和防止核心數據泄露,成為首要考慮的問題。例如,隨著指紋數據分析應用和基因數據檢測與分析手段的普及,越來越多的人擔心,一旦個人健康數據發生泄露,將可能導致嚴重後果。區塊鏈技術可以通過多簽名私鑰、加密技術、安全多方計算技術來防止這類情況的出現。當數據被哈希後放置在區塊鏈上,使用數字簽名技術,就能夠讓那些獲得授權的人們才可以對數據進行訪問。通過私鑰既保證數據私密性,又可以共享給授權研究機構。數據統一存儲在去中心化的區塊鏈上,在不訪問原始數據情況下進行數據分析,既可以對數據的私密性進行保護,又可以安全地提供給全球科研機構、醫生共享,作為全人類的基礎健康資料庫,對未來解決突發疾病、疑難疾病帶來極大的便利。
五、數據流通:區塊鏈保障數據相關權益
對於個人或機構有價值的數據資產,可以利用區塊鏈對其進行注冊,交易記錄是全網認可的、透明的、可追溯的,明確了大數據資產來源、所有權、使用權和流通路徑,對數據資產交易具有很大價值。
一方面,區塊鏈能夠破除中介拷貝數據威脅,有利於建立可信任的數據資產交易環境。數據是一種非常特殊的商品,與普通商品有著本質區別,主要是具有所有權不清晰、 「看過、復制即被擁有」等特徵,這也決定了使用傳統商品中介的交易方式無法滿足數據的共享、交換和交易。因為中介中心有條件、有能力復制和保存所有流經的數據,這對數據生產者極不公平。這種威脅僅僅依靠承諾是無法消除的,而這種威脅的存在也成為阻礙數據流通巨大障礙。基於去中心化的區塊鏈,能夠破除中介中心拷貝數據的威脅,保障數據擁有者的合法權益。
另一方面,區塊鏈提供了可追溯路徑,能有效破解數據確權難題。區塊鏈通過網路中多個參與計算的節點來共同參與數據的計算和記錄,並且互相驗證其信息的有效,既可以進行信息防偽,又提供了可追溯路徑。把各個區塊的交易信息串起來,就形成了完整的交易明細清單,每筆交易來龍去脈非常清晰、透明。另外,當人們對某個區塊的「值」有疑問時,可方便地回溯歷史交易記錄進而判別該值是否正確,識別出該值是否已被篡改或記錄有誤。
一切在區塊鏈上有了保障,大數據自然會更加活躍起來。
幣盈中國平台上眾籌項目的代幣都是基於區塊鏈技術開發出來的,相關的信息都會記錄到區塊鏈上。
③ 有哪些氣體存儲方式(力學、材料、化學)
目前對於儲存氫氣的材料的研究比較多,因為氫氣是公認的最有希望的新能源之一,卻因為難以大量儲存而受限(高壓儲氣罐方式比較危險,而且氫氣極難液化),用「儲氫材料」搜一下可以找到大量資料,最原始的儲氫材料可能是金屬鈀,鈀能夠把氫氣原子化,氫原子能夠在金屬鈀中擴散,也正因此鈀能催化很多氫氣參與的反應,這是一對很奇特的組合;似乎還有「儲氧材料」。 我關注了六年的多孔材料儲存氣體,這里的多孔材料包含沸石與分子篩,活性炭,金屬有機骨架Mof,沸石咪唑骨架ZIF,碳納米管等等。只能說,吸附存儲氣體還僅在實驗階段,大規模應用仍然較少,尤其是氫氣存儲,絕大部分材料只有在77K下才能到DOE的商用儲氫標准(記得是6 wt.%),常溫下慘不忍睹,所以後來老美在奧黑上台後放棄了。後來就是儲存天然氣,效果比氫氣好,個別材料可以實現DOE要求的35 bar下180 L/L的要求,但也是個別材料,實驗室階段的,成本不得了,而且是粉末吸附,沒有粘合成顆粒,沒有做過穩定性實驗。之後就是二氧化碳捕捉,現在看來這個是最容易實現的,性能好的比較多,因為二氧化碳分子的特性,功能材料經過改造吸附量超大,是上述三種氣體中應該最先可能工業化的體系。低溫的時候,氣體就會液化,比如100度以下 水蒸氣就會變為水 當然這是比較高的,低的是液氮,液氦 要接近絕對零度-273才液化。要想高溫液化就要增加壓力像煤氣罐 強還原性物質能把水中的氫離子置換出來變成氫氣(大量)比如鉀 鈉 但是鉀鈉在空氣中就會被氧化所以需要密閉保存。酸和鹼性物質反應有的能放出氣體 反應很快,比如鹽酸和純鹼(or 小蘇打)
④ 雲計算發展的主要推動力包括
雲數據安全。
雲數據安全是雲計算發展的主要推動力,而非阻礙。
雲計算發展的動力:1、快速降低的硬體成本,以及更強大的計算能力和存儲能力。2、多核技術的廣泛採用和現代高性能計算機能夠提供的幾十萬個核的計算能力。3、科學計算面臨的成指數增長的數據以及互聯網上的巨大數據處理要求。4、廣為接受的面向服務計算和Web2.0應用。
更多職業教育培訓,請查看:https://wenda.hqwx.com/catlist-3.html/?utm_campaign=hehuoren
⑤ 現代信息管理對數據存儲的要求有哪些
對於現代信息來說。我們保存數據存儲最主要的要求便是保密性不能後把資料泄露出去給外人知道。
⑥ 8.推動操作系統發展的主要動力是什麼
(一)、OS的目標
==(1)、方便性:== 一個未配置0S的計算機系統是極難使用的。 ==(2)、有效性:== 第一層含義是提高系統資源的利用率。 第二層含義是提高系統的吞吐量 ==方便性和有效性是設計0S的兩個重要目標。== ==(3)、可擴充性:== 為適應計算機硬體、體系結構以及計算機應用發展的要求,容易升級 ==(4)、開放性:== 開放性是指系統能遵循世界標准規范,特別是遵循開放系統互連(OSI)國際標准。
(二)、OS的作用
1. OS作為用戶與計算機硬體系統之間的介面
①、命令方式:操作員級。由OS提供了一組聯機命令介面,以允許用戶通過鍵盤輸入有關命令來取得操作系統的服務,並控制用戶程序的運行 ②、系統調用方式:程序員級。 OS提供了一組系統調用,用戶可在自己的應用程序中通過相應的系統調用,來實現與操作系統的通信。 ③、圖形、窗口方式:允許用戶通過屏幕上的窗口和圖標來實現與操作系統的通信,並取得它的服務。
操作系統中,用戶界面UI也稱為用戶介面,其含義有兩種:一種是指用戶與操作系統交互的途徑和通道,另一種是指這種交互環境即操作環境。一般將第一種含義稱為用戶介面,第二種含義稱為用戶交互界面。
系統調用的目的是請求系統服務。
操作系統提供給應用程序的介面是系統調用。
庫函數可以理解為是對系統調用的一層封裝。系統調用,我們可以理解是操作系統為用戶提供的一系 列操作的介面(API),這些介面提供了對系統硬體設備功能的操作。
庫函數有可能包含有一個系統調用,有可能有好幾個系統調用,當然也有可能沒有系統調用,比如有些操作不需要涉及內核的功能。
2. OS作為計算機系統資源的管理者
==資源可以分為四類:處理機、存儲器、I/0設備以及文件(數據和程序)。==
相應地,0S的主要功能也正是針對這四類資源進行有效的管理,即: ①、處理機管理:用於分配和控制處理機; ②、存儲器管理:主要負責內存的分配與回收; ③、I/O設備管理:負責I/0設 備的分配與操縱; ④、文件管理:負責文件的存取、共享和保護。
3. OS實現了對計算機資源的抽象
OS就是鋪設在計算機硬體上的多層軟體的集合。
(三)、推動OS發展的主要動力
0S最初發展的推動力
方便用戶成為了繼續推動0S發展的主要因素
⑦ 物理內存和虛擬內存有什麼區別平時說的內存是物理內存還是虛擬內存
物理內即你電腦主板內存槽上的實際容量。虛擬內存是當物理內存不夠用時系統自動從硬碟空間劃分一些容量出來當做虛擬內存使用(即輔助物理內存)
當執行的程序很大或很多,導致內存消耗殆盡時。Windows中會運用虛擬內存技術,即拿出一部分硬碟空間來充當內存使用,當內存佔用完時,電腦就會自動調用硬碟來充當內存,以緩解內存的緊張。舉一個例子來說,如果電腦只有128MB物理內存的話,當讀取一個容量為200MB的文件時,就必須要用到比較大的虛擬內存,文件被內存讀取之後就會先儲存到虛擬內存,等待內存把文件全部儲存到虛擬內存之後,跟著就會把虛擬內里儲存的文件釋放到原來的安裝目錄里了。下面看下如何對虛擬內存進行設置。
對於虛擬內存主要設置兩點,即內存大小和分頁位置,內存大小就是設置虛擬內存最小為多少和最大為多少;而分頁位置則是設置虛擬內存應使用那個分區中的硬碟空間。對於內存大小的設置,如何得到最小值和最大值呢?你可以通過下面的方法獲得:選擇「開始→程序→附件→系統工具→系統監視器」(如果系統工具中沒有,可以通過「添加/刪除程序」中的Windows安裝程序進行安裝)打開系統監視器,然後選擇「編輯→添加項目」,在「類型」項中選擇「內存管理程序」,在右側的列表選擇「交換文件大小」。這樣隨著你的操作,會顯示出交換文件值的波動情況,你可以把經常要使用到的程序打開,然後對它們進行使用,這時查看一下系統監視器中的表現值,由於用戶每次使用電腦時的情況都不盡相同,因此,最好能夠通過較長時間對交換文件進行監視來找出最符合您的交換文件的數值,這樣才能保證系統性能穩定以及保持在最佳的狀態。
找出最合適的范圍值後,在設置虛擬內存時,用滑鼠右鍵點擊「我的電腦」,選擇「屬性」,彈出系統屬性窗口,選擇「性能」標簽,點擊下面「虛擬內存」按鈕,彈出虛擬內存設置窗口,點擊「用戶自己指定虛擬內存設置」單選按鈕,「硬碟」選較大剩餘空間的分區,然後在「最小值」和「最大值」文本框中輸入合適的范圍值。如果您感覺使用系統監視器來獲得最大和最小值有些麻煩的話,這里完全可以選擇「讓Windows管理虛擬內存設置」。
調整分頁位置
Windows 9x的虛擬內存分頁位置,其實就是保存在C盤根目錄下的一個虛擬內存文件(也稱為交換文件)Win386.swp,它的存放位置可以是任何一個分區,如果系統盤C容量有限,我們可以把Win386.swp調到別的分區中,方法是在記事本中打開System.ini(C:\Windows下)文件,在[386Enh]小節中,將「PagingDrive=C:WindowsWin386.swp」,改為其他分區的路徑,如將交換文件放在D:中,則改為「PagingDrive=D:Win386.swp」,如沒有上述語句可以直接鍵入即可。
而對於使用Windows 2000和Windows XP的,可以選擇「控制面板→系統→高級→性能」中的「設置→高級→更改」,打開虛擬內存設置窗口,在驅動器[卷標]中默認選擇的是系統所在的分區,如果想更改到其他分區中,首先要把原先的分區設置為無分頁文件,然後再選擇其他分區。
或者,WinXP一般要求物理內存在256M以上。如果你喜歡玩大型3D游戲,而內存(包括顯存)又不夠大,系統會經常提示說虛擬內存不夠,系統會自動調整(虛擬內存設置為系統管理)。
如果你的硬碟空間夠大,你也可以自己設置虛擬內存,具體步驟如下:右鍵單擊「我的電腦」→屬性→高級→性能 設置→高級→虛擬內存 更改→選擇虛擬內存(頁面文件)存放的分區→自定義大小→確定最大值和最小值→設置。一般來說,虛擬內存為物理內存的1.5倍,稍大一點也可以,如果你不想虛擬內存頻繁改動,可以將最大值和最小值設置為一樣。
虛擬內存使用技巧
對於虛擬內存如何設置的問題,微軟已經給我們提供了官方的解決辦法,對於一般情況下,我們推薦採用如下的設置方法:
(1)在Windows系統所在分區設置頁面文件,文件的大小由你對系統的設置決定。具體設置方法如下:打開"我的電腦"的"屬性"設置窗口,切換到"高級"選項卡,在"啟動和故障恢復"窗口的"寫入調試信息"欄,如果你採用的是"無",則將頁面文件大小設置為2MB左右,如果採用"核心內存存儲"和"完全內存存儲",則將頁面文件值設置得大一些,跟物理內存差不多就可以了。
小提示:對於系統分區是否設置頁面文件,這里有一個矛盾:如果設置,則系統有可能會頻繁讀取這部分頁面文件,從而加大系統盤所在磁軌的負荷,但如果不設置,當系統出現藍屏死機(特別是STOP錯誤)的時候,無法創建轉儲文件 (Memory.dmp),從而無法進行程序調試和錯誤報告了。所以折中的辦法是在系統盤設置較小的頁面文件,只要夠用就行了。
(2)單獨建立一個空白分區,在該分區設置虛擬內存,其最小值設置為物理內存的1.5倍,最大值設置為物理內存的3倍,該分區專門用來存儲頁面文件,不要再存放其它任何文件。之所以單獨劃分一個分區用來設置虛擬內存,主要是基於兩點考慮:其一,由於該分區上沒有其它文件,這樣分區不會產生磁碟碎片,這樣能保證頁面文件的數據讀寫不受磁碟碎片的干擾;其二,按照Windows對內存的管理技術,Windows會優先使用不經常訪問的分區上的
頁面文件,這樣也減少了讀取系統盤里的頁面文件的機會,減輕了系統盤的壓力。
(3)其它硬碟分區不設置任何頁面文件。當然,如果你有多個硬碟,則可以為每個硬碟都創建一個頁面文件。當信息分布在多個頁面文件上時,硬碟控制器可以同時在多個硬碟上執行讀取和寫入操作。這樣系統性能將得到提高。
⑧ 如何查看雲空間保存的圖片,備忘錄等資料
如果你的手機開啟的雲空間雲備份圖片、備忘錄等資料,是可以在網頁版的手機雲空間中登錄,並查看保存的圖片、備忘錄數據的。
此外在手機雲便簽中支持數據內容自動同步到雲端備份,並且能添加文字、圖片、錄音、文件附件等多格式內容來記事,在網頁版、電腦端雲便簽中都能夠實時同步查看備忘錄的數據內容。
⑨ 企業物流什麼東東阿
企業物流概念
企業物流(Internal logistics)是指企業內部的物品實體流動。它從企業角度上研究與之有關的物流活動,是具體的、微觀的物流活動的典型領域。企業物流又可區分以下不同典型的具體物流活動:企業供應物流、企業生產物流、企業銷售物流、企業回收物流、企業廢棄物物流等。
企業物流可理解為圍繞企業經營的物流活動,是具體的、微觀物流活動的典型領域。企業系統活動的基本結構是投入→轉換→產出,對於生產類型的企業來講,是原材料、燃料、人力、資本等的投入,經過製造或加工使之轉換為產品或服務;對於服務型企業來講則是設備、人力、管理和運營,轉換為對用戶的服務。物流活動便是伴隨著企業的投入→轉換→產出而發生的。相對於投入的是企業外供應或企業外輸入物流,相對於轉換的是企業內生產物流或企業內轉換物流,相對於產出的是企業外銷售物流或企業外服務物流。由此可見,在企業經營活動中,物流是滲透到各項經營活動之中的活動。
企業物流的分類
按企業性質不同有以下不同種類的企業物流:
工業生產企業物流
工業生產企業物流是對應生產經營活動的物流,這種物流有四個子系統,即供應物流子系統、生產物流子系統、銷售物流子系統及廢棄物物流子系統。
工業生產企業種類非常多,物流活動也有差異,按主體物流活動區別,可大體分為四種:
①供應物流突出的類型。這種物流系統,供應物流突出而其他物流較為簡單,在組織各種類型工業企業物流時,供應物流組織和操作難度較大。例如,採取外協方式生產的機械、汽車製造等工業企業便屬於這種物流系統。一個機械的幾個甚至幾萬個零部件,有時來自全國各地、甚至外國,這一供應物流范圍既螅訊紉泊螅殺疽哺擼梢桓齟蠹產?如汽車)以後,其銷售物流便很簡單了。
②生產物流突出的類型。這種物流系統,生產物流突出而供應、銷售物流較為簡單。典型的例子是生產冶金產品的工業企業,供應是大宗礦石,銷售是大宗冶金產品,而從原料轉化為產品的生產過程及伴隨購物流過程都很復雜,有些化工企業(如化肥企業)也具有這樣的特點。
③銷售物流突出的類型。例如很多小商品、小五金等,大宗原材料進貨,加工也不復雜,但銷售卻要遍及全國或很大的地域范圍,是屬於銷售物流突出的工業企業物流類型。此外,如水泥、玻璃、化工危險品等,雖然生產物流也較為復雜,但其銷售時物流難度更大,問題更嚴重,有時會出現大事故或花費大代價,因而也包含在銷售物流突出的類型中。
④廢棄物物流突出的類型。有一些工業企業幾乎沒有廢棄物的問題,但也有廢棄物物流十分突出的企業,如製糖、選煤、造紙、印染等工業企業,、廢棄物物流組織得如何幾乎決定企業能否生存。
農業生產企業物流
農業生產企業中農產品加工企業的性質及對應的物流與工業企業是相同的。農業種植企業的物流是農業生產企業物流的代表,這種類型企業的四個物流系統的特殊性是:
①供應物流。以組織農業生產資料(化肥、種子、農葯、農業機具)的物流為主要內容;除了物流對象不同外,這種物流和工業企業供應物流類似,沒有大的特殊性。
②生產物流。種植業的生產物流與工業企業生產物流區別極大,主要區別是:
第一,種植業生產對象在種植時是不發生生產過程位移的,而工業企業生產對象要不斷位移,因此,農業種植業生產物流的對象不需要反復搬運、裝放、暫存,而進行上述物流活動的是勞動手段,如肥、水、葯等;
第二,種植業一個周期的生產物流活動,停滯時間長而運動時間短,最大的區別點在於,工業企業生產物流幾乎是不停滯的;
第三,生產物流周期長短不同,一般工業企業生產物流周期較短,而種植業生產物流周期長且有季節性。
③銷售物流。以組織農業產品(糧食、棉花等)的物流為主要內容。其銷售物流的一個很大特點是,諸功能要素中,儲存功能的需求較高,儲存量較大,且儲存時間長,「蓄水池」功能要求較高。
④廢棄物物流。種植生產的廢棄物物流也是具有不同於一般工業企業廢棄物流的特殊性,主要表現在,以重量計。廢棄物物流重量遠高於銷售物流。
企業物流鏈
企業物流系統由若乾子系統組成,這些子系統雖然有各自的特殊性,但是和所有的系統結構一樣,低層次的系統在大系統中都有一個共同的、總體的目標。所以,這些子系統之間存在內在的、有機的聯系。在企業中,這種聯系的緊密程度遠遠高於社會的物流系統。
企業物流系統的若乾子系統之間,按照物流科學規律,也必然存在著「效益背反」的問題。正是因為如此,企業物流系統的這些子系統必須服務於企業的總目標而形成一個順暢的鏈條,這就是企業物流鏈。
企業物流管理主要任務,就是使這個鏈條貫通順暢,並取得優化。
企業物流作業的目標
實踐表明,只有目標明確的企業才能得到迅速的發展。同理,也只有目標明確的企業物流作業才能高效運轉起來。企業物流作業的目標包括如下幾個方面,分別為快速響應、最低庫存、
集中運輸、最小變異、質量以及生命周期支持等。
首先是快速響應。這是企業物流作業目標中最基本的要求。快速響應關繫到一個企業能否及時滿足客戶的服務需求。比如,一個遠在昆明的客戶其公司伺服器出現問題宕機,而作為提供伺服器備件支援的廠商位於北京,若客戶需要在6小時內恢復伺服器正常運行,那麼快速響應就至關重要。
快速響應的能力使企業將物流作業傳統上強調的根據預測和存貨情況作出計劃轉向了以小批量運輸的方式對客戶需求作出反應上來。快速響應要求企業具有流暢的信息溝通渠道和廣泛的合作夥伴支持。在上例中若該伺服器備件支援的廠商在成都或昆明有合作夥伴,那麼在6小時或更短的時間內解決客戶的問題、滿足客戶需求就更為容易。
其次是最低庫存。這是企業物流作業目標中最核心的要求。最低庫存的目標同資產佔用和相關的周轉速度有關。最低庫存越少,資產佔用就越少;周轉速度越快,資產佔用也越少;因此,物流系統中存貨的財務價值佔用企業資產也就越低。在一定的時間內,存貨周轉率與存貨使用率相關。存貨周轉率高、可得性高,意味著投放到存貨上的資產得到了有效利用。企業物流作業的目標就是要以最低的存貨滿足客戶需求,從而實現物流總成本最低。
隨著物流經理將注意力更多地放在最低庫存的控制上,類似「零庫存(JIT)」之類的概念已經從DELL這樣的國際大公司向眾多公司中轉移並得到實際應用。當存貨在製造和采購中達到規模經濟時,它能提高投資報酬率。企業物流作業的目標之一就是要將存貨減少到控制在最低可能的水平上。為實現最低存貨的目標,物流系統設計必須是對整個企業的資金佔用和周轉速度進行控制,而不是對每一個單獨的業務領域進行控制。
再次是集中運輸。集中運輸是企業物流作業中實施運輸成本控制的重要手段之一。運輸成本與運輸產品的種類、運輸規模和運輸距離直接相關。許多具有一流服務特徵的物流系統都採用的是高速度、小批量運輸,這種運輸通常成本較高。為降低成本,可以將運輸整合。一般而言,運輸量越大、距離越長,單位運輸成本就越低。因此,將小批量運輸集中起來以形成大規模的經濟運輸不失為一種降低成本的途徑。不過,集中運輸往往降低了企業物流的響應時間。因此,企業物流作業必須在集中運輸與響應時間方面綜合權衡。
第四是最小變異。在企業物流領域,變異是指破壞系統作業表現的任何未預期到的事件,它可以產生於物流作業的任何地方。比如空運作業因為天氣原因受到影響;鐵路運輸作業因為地震等災害受到影響。減少變異的傳統解決辦法是建立安全存貨,或是使用高成本的運輸方式。不過,上述兩種方式都將增加物流成本,為了有效地控制物流成本,目前多採用信息技術以實現主動的物流控制,這樣變異在某種程度上就可以被減少到最低。
第五是質量。物流作業本身就是在不斷地尋求客戶服務質量的改善與提高。目前,全面質量管理(TQM)已引起各類企業的高度關注,自然,物流領域也不例外。從某種角度說,TQM還是物流得以發展的主要推動力之一。因為事實上一旦貨物質量出現問題,物流的運作環節就要全部重新再來。比如運輸出現差錯或運輸途中導致貨物損壞,企業不得不對客戶的訂貨重新操作,這樣一來不僅會導致成本的大幅增加,而且還會影響到客戶對企業服務質量感知,因此企業物流作業對質量的控制不能有半點馬虎。
物流作業的最後一個目標是生命周期支持。絕大多數產品在出售時都會標明其使用期限。若超過這個期限,廠商必須對渠道中的貨物或正在流向顧客的貨物進行回收。之所以將產品回收回來是出於嚴格的質量標准、產品有效期、產品可能出現的危險後果等方面的考慮。當貨物潛藏有危害人身健康的因素時,這時不論成本大小與否,反向物流必然發生。
傳統的物流作業要求要同時達到上述物流作業的目標比較困難,而市場的激烈競爭又對物流作業的全新目標幾乎都要求同時滿足,因此就要求企業必須對物流作業的各個環節進行高效整合。那麼如何對企業物流的諸多環節進行高效整合呢?這就要求我們首先了解企業物流運作的功能。
企業物流運作的功能
眾所周知,任何企業都需要各個業務單位的支持與協調,才可能完成整個物流過程。企業物流的活動可以歸結為五大功能,分別為網路設計、信息、運輸、存貨以及倉儲、物料搬運和包裝。企業物流的綜合能力就通過這五大功能的協調來實現。隨著分工的專業化,物流過程中的一些重要環節,比如運輸、倉儲等已經從一些企業中單列出來,形成一種純服務性的公司為客戶提供專業的物流服務,比如運輸公司、倉儲公司以及第三方物流公司等。
1. 網路設計
網路設計是物流管理的一項基本功能。典型的物流設施包括製造工廠、倉庫、轉運設施及渠道商。網路設計要確定完成物流工作所需的各類設施的數量和地點,同時還要確定每一設施內應儲備存貨的種類、數量以及安排應在何處交付客戶訂貨等。物流設施的網路形成了物流作業據以進行的框架結構,因此,該網路也融合了信息和運輸功能,還包括了與訂貨處理、存貨管理以及物料搬運等有關的具體工作。
企業進行物流網路設計時必須考慮地理位置這一因素。不同地區市場間存在著很大差異,這是不容置疑的。比如,在CBIResearch定義的中國IT市場一級(北京、上海、廣州)、二級(成都、深圳、武漢、南京、沈陽、西安)共9個市場中,從IT產品的銷售統計上看占據了中國總體市場的接近60%的份額,因此,在全國范圍內營銷的企業,必須確立能覆蓋這10個市場服務的物流能力。類似的地理上的差異也存在於其他行業的原材料和零部件的采購地上。
在當前動態的市場競爭性環境中,產品分類、客戶供應量以及製造需求等都在不斷地發生著變化,因此企業必須不斷地修正設施網路以適應供求結構的變化。與此同時,隨著時間的推移,企業還應該對所有的設施重新進行評估以確定它們的定位是否仍然能滿足市場變化的需要。從本質上說,企業選擇了具有優勢的網路,就具備了競爭優勢,而物流的效率直接取決於物流的網路結構並受其制約。
2.信息
在20世紀90年代以前,企業沒有對物流作業中的信息產生足夠的重視,主要原因在於一是缺乏產生所需信息的適當技術;二是由於管理部門對快速、准確的信息是如何提高物流績效缺乏足夠的認識。然而物流發展到今天,絕大多數的所需信息都已經有足夠的技術來輕松獲取
物流運作中的信息質量非常關鍵。信息質量上的問題大致有兩類:一類是趨勢預測信息的不準確性。由於大量的物流活動是根據未來需求發生的,不準確的判斷或預測就會引起存貨短缺或過剩;而過分樂觀的預測則會導致不恰當的存貨。二是有關訂單處理的信息不準確。處理不準確的訂單時,會引發所有的物流成本,但最終銷售卻沒有完成。因此,信息中的每一個錯誤都會對整個供應鏈產生隱患。
物流中依賴於信息的工作主要是物流預測與訂單管理。物流預測要估計未來的需求,以指導存貨定位,滿足預期的顧客需求。訂單管理部門的工作是處理具體客戶的需求。客戶下訂單是物流活動中的一項主要交易活動。
物流既為外部客戶服務,也為內部客戶服務。外部客戶就是那些消費品或服務的顧客以及先購買產品或服務,然後再行出售的貿易夥伴或稱渠道商。內部客戶是指企業內部需要物流支持以便承擔其指定工作的組織單位。訂單管理的過程涉及從最初的接受訂單到交付、開票以及通常的托收等有關管理顧客需要的方方面面。企業的物流能力實際上同它的訂單管理功能密切相關。企業的物流系統設計越有效,它對信息的准確性就越敏感。信息流反映了一個物流系統的動態形態,訂單處理過程中出現的不正確的信息和信息延誤等都會削弱物流效率。因此,物流信息的質量和及時性是物流運作的關鍵因素。
3.運輸
在既定的網路設施和信息能力下,運輸就是從地理上給存貨定位的一個物流功能領域。由於運輸具有十分重要的意義和可見成本,因此,長期以來運輸始終得到企業管理部門的普遍重視。根據企業負擔能力,可以選擇三種不同的方式來實現運輸功能,這三種方式分別為自有車隊的運輸、合同運輸和公共運輸。三種方式的運輸各有優缺點,企業必須根據自身的實際情況選擇,不過目前的發展趨勢是正在從自有車隊的運輸向第三方物流公司(合同運輸)的運輸方式轉移,這是分工的專業化發展的必然結果。
從物流系統的觀點來看,影響運輸的三大因素是成本、速度和一致性。運輸成本是指為兩個地理方位間的運輸所支付的款項,以及與在途存貨有關的行政管理費和維持費。物流系統的設計應考慮能把系統總成本降至最低的運輸。不過,成本最低的運輸,不一定會將總成本降至最低。運輸速度是指完成特定的運輸所需的時間。
運輸速度與成本有關,主要表現在以下兩個方面:一是運輸速度越快,收取的運費也會越高;二是運輸速度越快,在途存貨就越少,貨物完成消費准備的時間就越短。選擇最理想的運輸方式時,關鍵問題在於如何權衡運輸服務的速度與成本。運輸一致性是指在完成某一具體訂貨時,若干次裝運所需時間的變化性,它反映了運輸的可靠性。如果運輸缺乏一致性,就需要儲備安全存貨,以防不測。
4.存貨
企業的存貨需求取決於網路結構和期望的客戶服務水平。良好的存貨管理政策基於五方面內容,即客戶細分、產品需求、運輸一體化、時間上的要求以及競爭性作業表現。高收益率的客戶構成企業的核心市場,有效進行物流細分的關鍵就在於為這些核心客戶優先安排存貨權,以滿足他們的需求。
另外,在選擇存貨政策時,必須考慮不同產品的贏利性。物流運作的關鍵驅動力在於承諾快速交付產品以滿足客戶需求。物流的總體目標是在總成本最低的情況下提供預期的客戶服務水平。
5.倉儲、物料搬運和包裝
物流系統中需要用到倉庫時,企業可以選擇自己經營倉庫,也可以從外部獲得專業倉儲服務。很多物流過程中的重要活動會出現在倉儲這個環節上,比如貨物分類、排序、訂單分揀、聯合運輸,有時還包括產品的修改與裝配。
物料搬運是倉庫中的一項重要活動。搬運會產生貨損,產品搬運的次數越少,產品受損的可能性就越小,倉庫內的整體運作效率就越高。
包裝是為了提高搬運效率。通常將罐裝、瓶裝或盒裝的產品裝入更大的包裝內,即工業包裝。工業包裝起到兩方面的作用,一是在物流過程中起到保護產品的作用;二是將零散的產品打包成大包裝的形式,以提高搬運安全性和效率。
企業物流整合的框架
企業物流可以分解為貨物流和信息流兩大流。其中,貨物流可以進一步細分為采購、製造支持和產品配送;而信息流則細分為計劃/協調流和作業流。事實上,無論是貨物流還是信息流,都與從供應商到客戶所經歷的采購、製造與配送等過程緊密相關。
企業通過物流使原材料經過一系列過程轉變為產品並送達客戶而實現增值。其中貨物流分布在企業物流整合中的采購、製造支持和產品配送等環節;而與此同時,信息流也因這些環節間的交互作業而產生並流動。
1. 貨物流
貨物流始於原材料的采購。在物流領域,采購是指企業從供應商那裡購買原材料、零部件或產成品存貨,並安排運往製造工廠或裝配工廠、倉庫、渠道商的內向運輸。它包括的活動主要有制定資源需求計劃、尋找供應商、價格談判、下達訂單、收貨、驗貨、儲搬運和質量保證等,而這些正是構成信息流的主要內容。
其次是製造支持。製造支持涉及製造企業控制之下的運輸需求。從全面計劃的觀點看,製造支持與外向活動(產品配送)和內向活動(采購)分離,使得企業更具有專業化,效率更容易得到提高。
最後是產品配送。產品配送是指將產成品運送到客戶手中的過程。產品配送活動主要是指提供客戶服務相關的一些活動,主要包括接收訂單、訂單處理、安排存貨、倉儲和搬運以及配送渠道內的貨物外運。產品配送的主要目標是在總成本最低的基礎上戰略性地提供預期的客戶服務水平,從而最終實現客戶收益。
2.信息流
物流中的信息流主要是用來辨別需求的,分為兩大部分:計劃/協調流和作業流。在供應鏈成員之間構成的整個信息系統結構中,計劃/協調起到了支柱性的作用。根據信息進行協調產生的計劃可以明確以下內容:戰略目標、能力限制、物流需求、存貨安排、製造需求、采購需求和預測。
研究發現,整個供應鏈的主要動力來自於由各成員的營銷目標和財務目標相結合產生的戰略目標。能力限制協調內部與外部的製造需求,即發現自身能力上的限制所在,從而有目的的對企業內外製造需求加以協調。物流需求將執行作業計劃所需的配送設施、設備和勞動力具體化,即需求描述。存貨安排是介於計劃/協調與作業之間的一個連接面,它詳細說明了安排存貨的時間與地點等問題。
產生於製造需求的主生產計劃(MPS-Master Planning Schele)和物料需求計劃(MRP-Material Requirement Planning)則是一份日常生產計劃,它主要用於確定原材料和零部件的需求。采購需求支持製造需求,它確定需要從企業外部運往內部的原材料和零部件。預測則是根據歷史資料、當前的業務情況等預估未來的業務水平。物流預測一般是對相對較短期間的預測(通常不超過1個季度)的定期預測(通常為周度或月度預測)。作業流涉及以下主要內容:訂單管理、訂單處理、配送作業、存貨管理、運輸、采購等。
訂單管理是指在產成品配送過程中,在供應鏈中有關各成員間傳遞的信息需求。訂單管理的主要活動是對客戶所下訂單進行准確登記並加以確認。訂單處理是指安排存貨並分配執行任務以滿足客戶需求。
配送作業中的信息流主要是為方便和協調在物流設施中的物流作業。物流設施主要作用是對原材料和產品分類,從而滿足客戶的訂單需求。存儲管理是利用信息執行特定的物流計劃。而運輸信息則指導存貨如何從企業或企業的倉庫流向渠道商或最終用戶。采購中的信息通常指為完成采購訂單的准備、修改及發放所必需的信息。
3.製造企業內部的物流整合--ERP
從MRP到MRPII(Manufacturing Resource Planning)再到ERP(Enterprise Resource Planning),這些計劃軟體逐步使企業內部的物流整合程度加深。尤其是ERP,它在傳統的製造資源計劃(MRPII)的基礎上擴展了管理范圍,給出了全新的結構,把客戶需求和企業內部的業務活動以及供應商的製造資源組合在一起,體現了完全按照用戶需求製造的思想。
更為具體地說,ERP是一種面向企業內部的管理工具,它可對諸如訂單、采購、庫存、計劃、生產製造、質量控制、運輸、分銷、服務與維護、財務管理、人事管理、實驗室管理、項目管理、配方管理等進行有效管理。ERP是整合了企業管理理念、業務流程、基礎數據、人力物力、計算機硬體和軟體於一體的企業資源管理系統,因此ERP可以實現企業集中式管理、集中監控、規模經濟。企業在實施ERP的過程中,企業管理組織體系要主動適應ERP,而不是ERP去適應管理體系,否則必然導致應用失敗。
如果企業現有的組織模式不適應ERP,那麼就有必要進行業務流程重組(BPR-Business Process Reengineering),依據整合性管理思想構建新的組織模式。企業在實施ERP系統之前,需要做大量的前期准備工作,它包括企業管理診斷、企業信息技術規劃以及人力、物力的准備等。
企業管理診斷是指識別行業可能出現的挑戰,分析競爭環境,找到自身管理存在的問題,從而確定企業近遠期的發展和經營戰略。一個全面的ERP系統包含了很多模塊,企業應根據自身實際需求來進行規劃,不能奢望一朝一夕就能完全實現,也不一定非要實現ERP的全部功能。
其次是業務流程重組(BPR)。BPR是美國的邁克爾@哈默(Micheal Hammer)於1990年在《哈佛商業評論》上提出來的。他認為,BPR的核心就是面對激烈的市場競爭,企業要加強過程式控制制,要不斷地對原有的業務流程進行根本性的思考和徹底重組,從而使成本、質量、服務和速度這些反映企業競爭能力的要素得以明顯的改善或提高,以適應市場競爭的需求。大量實踐表明,企業ERP只有在成功實施BPR的基礎上才能獲得最佳經濟效益。
最後是ERP系統的應用。ERP只是對企業內部進行的整合,它無力承擔企業之間的集成和協同。20世紀90年代中期,尋求克服ERP缺點的努力開始有了成果,這就是物流的進一步整合,即將整合擴展至獨立企業之間的協調和企業外部的物流和信息流的集成和優化--高級計劃與排產技術(APS-Advanced Planning & Schele)的實用化和供應鏈管理(SCM)。
企業物流整合的阻力
企業物流整合涉及到跨職能部門的作業,因此面臨的阻力是多方面的。概括地說,企業物流整合的阻力主要來自於以下幾個方面:組織結構、績效衡量體系、存貨所有權問題、信息技術和知識相互傳遞的能力等。
首先是企業組織結構。企業傳統的業務組織結構會影響到任何一項跨職能部門作業的執行,因為傳統的業務組織結構反應出來的是相對獨立的部門運作,而企業物流整合則要求在各職能領域間進行高效的合作與協調。因此,企業實施物流整合首先要從調整企業組織結構入手。
其次是績效衡量體系。企業傳統的績效衡量體系往往是針對相對獨立的組織部門而分別制定標准進行考核,也就是說企業傳統的績效衡量體系基本上是依循企業傳統的組織結構來設計的。企業實施物流整合,調整了傳統的組織結構,就必須相應地調整績效衡量體系,否則達不到預期的目的。
再次是貨物所有權問題。存貨可以有效幫助物流的某一功能的實現。獲得存貨所有權的傳統方法是保持足量供應,以備安全起見,應同時避免需求及作業中的不確定因素。但保持足量供應勢必增加庫存對財務資金的佔用,同時相應增加企業風險。
第四是信息技術。信息技術是實現物流整合的關鍵因素。企業的信息系統傳統上也是按照組織結構的思路來分別進行設計的,這就使得企業許多資料庫僅限於在特定的職能部門內使用,在涉及跨職能部門時,信息難以共享。因此,無法實現信息共享無疑是物流整合的又一大阻力。
最後一個方面是知識相互傳遞的能力。實踐證明,如果在企業內分享經驗的能力受到限制同樣嚴重影響到企業的物流整合。比如,當富有經驗的工作人員因退休或其他原因離開企業時,無法對知識進行轉化或傳遞,而新人又需要很長的一段時間才能適應,那麼在這種情況下就會對物流整合形成阻力。
總之,物流是一項綜合性的業務,涉及眾多職員和各功能領域,而在物流領域中知識和經驗的傳遞又往往很難標准化。因此,企業要實施有效的物流整合,還必須解決知識與經驗的積累與傳遞問題,即解決企業的知識庫問題。
⑩ 請問用軟體做倉庫管理發展前途怎麼樣
現在erp里就有庫存管理。