當前位置:首頁 » 數據倉庫 » 資料庫工程師和elt工程師
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

資料庫工程師和elt工程師

發布時間: 2023-06-03 13:17:00

Ⅰ ETL工程師是做什麼的

ETL工程師又叫資料庫工程師。

ETL工程師的主要工作內容有:從事系統編程、資料庫編程與設計。ETL是數據倉庫中的非常重要的一環。它是承前啟後的必要的一步。相對於關系資料庫,數據倉庫技術沒有嚴格的數學理論基礎,它更面向實際工程應用。

所以從工程應用的角度來考慮,按著物理數據模型的要求載入數據並對數據進行一些系列處理,處理過程與經驗直接相關,同時這部分的工作直接關系數據倉庫中數據的質量,從而影響到聯機分析處理和數據挖掘的結果的質量。

職業前景

從業務角度講,隨著數據應用的日益豐富,不同平台、系統的相互大批量數據交互成常態,僅僅滿足於採集數據已經不適應業務需要,還需要能夠為數據的目的端落地提供支撐,ETL工程師需要一個端到端的更適應業務需要的數據交換系統。

從技術角度講,ETL做一定的擴展可以升級為兼具交換能力,兩者有傳承,可以實現平滑過渡,但交換卻要考慮用另一個工具實現,同時未來大數據平台組件將異常豐富,相互之間的數據交換將是常態,必要要有更高級別的交換工具滿足這些需求。

Ⅱ BI,數據倉庫,ETL,大數據開發工程師有什麼區別

准確的來說,商業智能BI不僅僅包含前端可視化分析、報表展現的能力,更包含了底層數據倉庫的建設過程。

Gartner 在上世紀九十年代就已經提到了商業智能 Business Intelligence,它更多的認為BI是一種數據類的技術解決方案,將許多來自不同企業業務系統的數據提取有分析價值的數據進行清洗、轉換和載入,就是抽取Extraction、轉換 Transformation、載入Loading 的ETL過程,最終合並到一個數據倉庫中,按照一定的建模方式例如Inmon 的3NF 建模、Kimball 的維度建模或者兩者都有的混合式架構模型,最終在這個基礎上再利用合適的分析展現工具來形成各種可視化的分析報表為企業的管理決策層提供數據決策支撐。

所以,可以從這里能夠看到數據倉庫Data Warehouse 的位置是介於可視化報表和底層業務系統數據源之間的這一層,在整個BI項目解決方案中起到的是一個承上啟下的作用。所以,BI在前端可視化分析層面要玩出各類精彩的動作,沒有數據倉庫這個核心力量的支撐是很難做到的。

很多企業認為只要買一個前端BI分析工具就可以解決企業級的BI所有問題,這個看法實際上也不可行的。可能在最開始分析場景相對簡單,對接數據的復雜度不是很高的情況下這類BI分析工具沒有問題。但是在企業的BI項目建設有一個特點,是一個螺旋式上升的建設過程。因為對接的業務系統可能會越來越多,分析的深度和廣度會越來越多,數據的復雜度也會越來越有挑戰性,這個時候沒有一個很好的數據倉庫架構支撐,光靠前端BI分析工具基本上是無法搞定的。

所以在企業中,我們需要明確我們的BI建設是面向企業級的還是個人和部門的分析工作。如果是個人數據分析師,使用這類前端BI分析工具就足夠了。如果是需要構建一個企業級的BI項目,就不能只關注前端可視化分析能力這個層面,更應該關注到底層數據架構的構建,也就是數據倉庫這個層面。