⑴ 數據分析師的職位有哪些
數據產業的每個環節都需要依靠專業人員完成,因此,必須培養和造就一支掌握數據技術、懂管理、有數據應用經驗的數據建設專業隊伍。目前數據相關人才的欠缺嚴重阻礙數據市場發展。
數據分析的相關職位需要的是復合型人才,能夠對數學、統計學、數據分析、機器學習和自然語言處理等多方面知識綜合掌控。未來,數據分析將會出現約100萬以上的人才缺口,在各個行業,數據分析中高端人才都會成為炙手可熱的人才,涵蓋了大數據的數據開發工程師、數據分析師、數據架構師、數據後台開發工程師、演算法工程師等多個方向。
人們每時每刻都在產生著數據,而這些數據改變著生活。大數據產業已逐步從概念走向落地,90%企業都在使用大數據,而大數據高端軟體類人才供應遠不能滿足時代的發展。有報告指出,數據分析師已成當下中國互聯網行業需求旺盛的六類人才職位之一,並且未來中國基礎性數據分析人才缺口將達到 1400 萬。
就目前中國數據人才的市場來看,比較緊缺的數據分析崗位主要為數據專員(統計員)、數據運營、數據分析師、數據分析工程師、數據挖掘工程師、數據策略師(數據產品經理)、演算法工程師等職位崗位。
關於數據分析師崗位的相關問題,建議找一家專業的機構了解一下。例如CDA數據認證中心就不錯。CDA已進行500多期線上線下數據分析及大數據培訓課程,培養學員10萬+人次;已在全國70+城市舉辦15屆CDA數據分析師認證考試,報考考生數萬人。
⑵ 我要做一張報表,sql從資料庫中取數據(ibatis),買衣服這些項目是前台動態選定,按人名分組查詢使用金
前台拼出查詢字元串
sql = "select 姓名";
if(買衣服)
sql += ",sum(買衣服)";
if(吃飯)
sql += ",sum(吃飯)";
sql += " from 表 group by 姓名";
然後執行這個sql即可
⑶ 財務人員真的有必要學習 SQL 語言和 Power BI 嗎
先說結論吧,有必要學,但是不要學的太深。
題主說的那是財務分析師,這是一個新興職業,目前的需求不多,只有在大公司里才有,而且這種不屬於傳統類型,更多的是屬於戰略部門。
你隨便拉個大廠的財務出來,你問問她們會不會SQL,會不會BI工具,90%的回答肯定都是不會,因為這種財務做的事情大多數都偏傳統,涉及到的工具還是Excel,能把Excel玩的很厲害的也是極少數。
Excel需要熟練的技能有:基礎函數、進階函數、數據透視表、數據清洗。
記住,什麼是熟練,是不需要任何幫助文檔就能把東西給做出來,把上面這些操作搞定之後才有學SQL和BI工具的必要。
先說SQL,你不需要變成一個取數機器,你只需要學會查詢、連接等基本操作就行,select from和各個財務報表之間的關系搞清楚就行了,還有一個就是要學會連接資料庫,BI工具用的到。
⑷ 資料庫開發工程師的崗位職責
資料庫開發工程師的崗位職責
在當下社會,我們都跟崗位職責有著直接或間接的聯系,崗位職責是組織考核的依據。想必許多人都在為如何制定崗位職責而煩惱吧,以下是我收集整理的資料庫開發工程師的崗位職責,希望能夠幫助到大家。
資料庫開發工程師的崗位職責1
職責:
1、 負責資料庫倉庫模型設計及規劃,數據倉庫架構搭建和優化策略;
2、使用相關ETL工具和BI工具,支持中後台數據轉換模型和技術開發;
3、負責資料庫業務程序開發(包括腳本、函數、存儲過程等)和優化以及數據質量技術保障;
4、根據金融業務的理解和經驗,制定系統和資料庫標准化的日常維護和操作手冊;
5、編寫資料庫設計檔,進行SQL代碼規范審核。
任職要求:
1、具有扎實的資料庫基礎知識,開發經驗3年以上;
2、熟練編寫存儲過程、函數、性能優化腳本,能獨立進行排錯、調優;
3、精通oracle或greenplum資料庫開發或管理,有OCP認證優先;
4、溝通能力強,語言表達清晰,思維嚴謹,細致認真,具有良好的團隊合作精神;
5、金融證券行業相關經驗優先。
資料庫開發工程師的崗位職責2
崗位描述:
1、進行業務系統資料庫的規劃、設計、實施,設計並優化資料庫物理建設方案;
2、對資料庫進行管理,負責資料庫應用系統的運營及監控;
3、業務系統資料庫的定期維護和異常處理;
4、對資料庫性能分析與調優,排錯,保證數據安全;
5、對資料庫進行定期備份、和按需恢復;
6、配合其他部門進行的數據處理、查詢,統計和分析工作。
任職資格:
1、計算機相關專業,本科以上學歷;
2、兩年以上相關工作經驗;
3、精通關系資料庫原理,熟悉資料庫系統的規劃、安裝、配置、性能調試;
4、精通sql腳本的編寫,有豐富的資料庫管理、運維調優經驗;
5、熟練使用資料庫管理、分析、設計工具;
6、快速處理系統突發事件的能力,較強的學習和創新能力;
7、良好的溝通能力、團隊合作精神。
資料庫開發工程師的崗位職責3
職責:
1、根據數據倉庫及BI項目的需求,制定ETL相關的設計方案和開發計劃,並進行後續的設計、實施、維護;
2、負責數據倉庫數據模型的開發,發布,測試工作;
3、負責多種類型的數據報表的研發工作,包括鑽取類報表,表格類報表,和圖形化報表的研發,測試和發布工作;
4、承擔數據抽取、清洗、轉化等數據處理程序開發。
任職要求:
1、計算機相關專業本科及以上學歷
2、精通數據倉庫的數據模型設計,熟悉ETL工具如DataStage,有3年以上的實際BI項目經驗;
3、精通Mysql/Oracle/SQLServer資料庫,精通SQL語言,熟練編寫存儲過程,掌握海量數據處理及資料庫性能優化;
4、熟悉Hadoop大數據技術框架及相關技術;
資料庫開發工程師的崗位職責4
職責:
1、參與需求調研,負責開展專項業務分析,數據開發工作;
2、負責數據支撐工作,從事資料庫開發,報表設計和實現;
3、負責相關資料庫設計的編寫等工作;
4、參與項目的實施,負責數據結果提交、測試反饋與優化;
5、運營及決策提供業務分析及數據支持;
6、參與建立採集、轉換、整合數據,與展現開發報表分析的數據設計流程,並應用於實際操作中。
任職資格:
1、本科以上學歷,計算機相關專業,掌握SQL語言,至少熟練使用過Sybase、DB2、Oracle等其中一種資料庫;
2、熟悉ETL的概念和流程,至少熟練使用過一種ETL工具(odi,informatica,kettle等);
3、系統學習過資料庫原理,對關系模型設計有一定認識更佳,熟練具備SQL語言、存儲過程的.編寫能力;
4、良好的邏輯思維能力,敏銳的數據洞察力,較強的總結歸納能力;
5、持有OCP認證、OCM、資料庫工程師、SPSS、SAS、CDA任意一種證書者優先;
6、熟悉db2和sybase者加分,有會計或審計經驗者加分。
資料庫開發工程師的崗位職責5
職責:
1、負責資料庫的安裝、配置、監控、實時備份、恢復和管理;
2、負責數據清理及系統間的數據遷移;
3、根據需要負責資料庫設計包括表結構、表、索引等的設計;
4、負責編寫SQL、觸發器、存儲過程等;
5、負責原有SQL優化,原有存儲過程維護。
工作要求:
1、2年以上資料庫開發或Java軟體開發經驗;
2、熟練使用Linux系統,熟悉表結構設計、SQL優化,熟練編寫存儲過程;
3、熟悉Oracle、Mysql資料庫運行機制、體系架構;
4、掌握Oracle資料庫維護,能對業務需求和故障及時反饋和處理;
5、具較強的責任心和學習能力,有團隊合作精神、溝通協調能力、承壓能力。
資料庫開發工程師的崗位職責6
職責:
1、參與項目需求分析,研究項目技術細節,進行系統框架和核心模塊的詳細設計;編寫相應的技術文檔;
2、根據公司要求規范,編寫相應的技術文檔;編制項目文檔、記錄質量測試結果
3、完成項目初始至終結的全部技術跟蹤協調工作
4、根據開發進度和任務分解完成軟體編碼工作,配合測試工程師進行軟體測試工作;
5、參與客戶溝通、項目需求調研分析並維持良好的客戶關系;編寫需求分析報告。
6、進行用戶現場軟體的部署和實施
7、完成公司領導交辦的其他工作。
崗位要求:
1、計算機相關專業,數學專業優先,本科以上學歷;
2、熟悉Oracle、Sqlserver等資料庫及SQL語言;
3、良好的團隊合作精神和社交技巧及溝通協調能力;
4、能適應經常出差。
;⑸ 如何成為一個數據分析師需要具備哪些技能
接下來我們分別從每一個部分講講具體應該學什麼、怎麼學。
數據獲取:公開數據、Python爬蟲
如果接觸的只是企業資料庫里的數據,不需要要獲取外部數據的,這個部分可以忽略。
外部數據的獲取方式主要有以下兩種。
第一種是獲取外部的公開數據集,一些科研機構、企業、政府會開放一些數據,你需要到特定的網站去下載這些數據。這些數據集通常比較完善、質量相對較高。
另一種獲取外部數據費的方式就是爬蟲。
比如你可以通過爬蟲獲取招聘網站某一職位的招聘信息,爬取租房網站上某城市的租房信息,爬取豆瓣評分評分最高的電影列表,獲取知乎點贊排行、網易雲音樂評論排行列表。基於互聯網爬取的數據,你可以對某個行業、某種人群進行分析。
在爬蟲之前你需要先了解一些 Python 的基礎知識:元素(列表、字典、元組等)、變數、循環、函數(鏈接的菜鳥教程非常好)……以及如何用成熟的 Python 庫(urllib、BeautifulSoup、requests、scrapy)實現網頁爬蟲。如果是初學,建議從 urllib 和 BeautifulSoup 開始。(PS:後續的數據分析也需要 Python 的知識,以後遇到的問題也可以在這個教程查看)
網上的爬蟲教程不要太多,爬蟲上手推薦豆瓣的網頁爬取,一方面是網頁結構比較簡單,二是豆瓣對爬蟲相對比較友好。
掌握基礎的爬蟲之後,你還需要一些高級技巧,比如正則表達式、模擬用戶登錄、使用代理、設置爬取頻率、使用cookie信息等等,來應對不同網站的反爬蟲限制。
除此之外,常用的的電商網站、問答網站、點評網站、二手交易網站、婚戀網站、招聘網站的數據,都是很好的練手方式。這些網站可以獲得很有分析意義的數據,最關鍵的是,有很多成熟的代碼,可以參考。
數據存取:SQL語言
你可能有一個疑惑,為什麼沒有講到Excel。在應對萬以內的數據的時候,Excel對於一般的分析沒有問題,一旦數據量大,就會力不從心,資料庫就能夠很好地解決這個問題。而且大多數的企業,都會以SQL的形式來存儲數據,如果你是一個分析師,也需要懂得SQL的操作,能夠查詢、提取數據。
SQL作為最經典的資料庫工具,為海量數據的存儲與管理提供可能,並且使數據的提取的效率大大提升。你需要掌握以下技能:
提取特定情況下的數據:企業資料庫里的數據一定是大而繁復的,你需要提取你需要的那一部分。比如你可以根據你的需要提取2018年所有的銷售數據、提取今年銷量最大的50件商品的數據、提取上海、廣東地區用戶的消費數據……,SQL可以通過簡單的命令幫你完成這些工作。
資料庫的增、刪、查、改:這些是資料庫最基本的操作,但只要用簡單的命令就能夠實現,所以你只需要記住命令就好。
數據的分組聚合、如何建立多個表之間的聯系:這個部分是SQL的進階操作,多個表之間的關聯,在你處理多維度、多個數據集的時候非常有用,這也讓你可以去處理更復雜的數據。
數據預處理:Python(pandas)
很多時候我們拿到的數據是不幹凈的,數據的重復、缺失、異常值等等,這時候就需要進行數據的清洗,把這些影響分析的數據處理好,才能獲得更加精確地分析結果。
比如空氣質量的數據,其中有很多天的數據由於設備的原因是沒有監測到的,有一些數據是記錄重復的,還有一些數據是設備故障時監測無效的。比如用戶行為數據,有很多無效的操作對分析沒有意義,就需要進行刪除。
那麼我們需要用相應的方法去處理,比如殘缺數據,我們是直接去掉這條數據,還是用臨近的值去補全,這些都是需要考慮的問題。
對於數據預處理,學會 pandas 的用法,應對一般的數據清洗就完全沒問題了。需要掌握的知識點如下:
選擇:數據訪問(標簽、特定值、布爾索引等)
缺失值處理:對缺失數據行進行刪除或填充
重復值處理:重復值的判斷與刪除
空格和異常值處理:清楚不必要的空格和極端、異常數據
相關操作:描述性統計、Apply、直方圖等
合並:符合各種邏輯關系的合並操作
分組:數據劃分、分別執行函數、數據重組
Reshaping:快速生成數據透視表
概率論及統計學知識
數據整體分布是怎樣的?什麼是總體和樣本?中位數、眾數、均值、方差等基本的統計量如何應用?如果有時間維度的話隨著時間的變化是怎樣的?如何在不同的場景中做假設檢驗?數據分析方法大多源於統計學的概念,所以統計學的知識也是必不可少的。需要掌握的知識點如下:
基本統計量:均值、中位數、眾數、百分位數、極值等
其他描述性統計量:偏度、方差、標准差、顯著性等
其他統計知識:總體和樣本、參數和統計量、ErrorBar
概率分布與假設檢驗:各種分布、假設檢驗流程
其他概率論知識:條件概率、貝葉斯等
有了統計學的基本知識,你就可以用這些統計量做基本的分析了。通過可視化的方式來描述數據的指標,其實可以得出很多結論了,比如排名前100的是哪些,平均水平是怎樣的,近幾年的變化趨勢如何……
你可以使用python的包 Seaborn(python包)在做這些可視化的分析,你會輕松地畫出各種可視化圖形,並得出具有指導意義的結果。了解假設檢驗之後,可以對樣本指標與假設的總體指標之間是否存在差別作出判斷,已驗證結果是否在可接受的范圍。
python數據分析
如果你有一些了解的話,就知道目前市面上其實有很多 Python 數據分析的書籍,但每一本都很厚,學習阻力非常大。但其實真正最有用的那部分信息,只是這些書里很少的一部分。比如用 Python 實現不同案例的假設檢驗,其實你就可以對數據進行很好的驗證。
比如掌握回歸分析的方法,通過線性回歸和邏輯回歸,其實你就可以對大多數的數據進行回歸分析,並得出相對精確地結論。比如DataCastle的訓練競賽「房價預測」和「職位預測」,都可以通過回歸分析實現。這部分需要掌握的知識點如下:
回歸分析:線性回歸、邏輯回歸
基本的分類演算法:決策樹、隨機森林……
基本的聚類演算法:k-means……
特徵工程基礎:如何用特徵選擇優化模型
調參方法:如何調節參數優化模型
Python 數據分析包:scipy、numpy、scikit-learn等
在數據分析的這個階段,重點了解回歸分析的方法,大多數的問題可以得以解決,利用描述性的統計分析和回歸分析,你完全可以得到一個不錯的分析結論。
當然,隨著你實踐量的增多,可能會遇到一些復雜的問題,你就可能需要去了解一些更高級的演算法:分類、聚類,然後你會知道面對不同類型的問題的時候更適合用哪種演算法模型,對於模型的優化,你需要去學習如何通過特徵提取、參數調節來提升預測的精度。這就有點數據挖掘和機器學習的味道了,其實一個好的數據分析師,應該算是一個初級的數據挖掘工程師了。
系統實戰
這個時候,你就已經具備了數據分析的基本能力了。但是還要根據不同的案例、不同的業務場景進行實戰。能夠獨立完成分析任務,那麼你就已經打敗市面上大部分的數據分析師了。
如何進行實戰呢?
上面提到的公開數據集,可以找一些自己感興趣的方向的數據,嘗試從不同的角度來分析,看看能夠得到哪些有價值的結論。
另一個角度是,你可以從生活、工作中去發現一些可用於分析的問題,比如上面說到的電商、招聘、社交等平台等方向都有著很多可以挖掘的問題。
開始的時候,你可能考慮的問題不是很周全,但隨著你經驗的積累,慢慢就會找到分析的方向,有哪些一般分析的維度,比如top榜單、平均水平、區域分布、年齡分布、相關性分析、未來趨勢預測等等。隨著經驗的增加,你會有一些自己對於數據的感覺,這就是我們通常說的數據思維了。
你也可以看看行業的分析報告,看看優秀的分析師看待問題的角度和分析問題的維度,其實這並不是一件困難的事情。
在掌握了初級的分析方法之後,也可以嘗試做一些數據分析的競賽,比如 DataCastle 為數據分析師專門定製的三個競賽,提交答案即可獲取評分和排名:
員工離職預測訓練賽
美國King County房價預測訓練賽
北京PM2.5濃度分析訓練賽
種一棵樹最好的時間是十年前,其次是現在。現在就去,找一個數據集開始吧!!
⑹ 數據分析崗位工作職責和工作內容是什麼
【導讀】隨著互聯網的發展,數據分析行業得到了飛速的發展,也成了21世紀的高薪行業和熱門行業,不少小夥伴想要加入進來,分的一杯羹,首先,要想清職業目標。明確自己是否真的喜歡數據分析,是否真的想往這方面發展。確定職業方向後,再思考如何入門數據分析。數據分析不同目標的發展路徑不同,入門所需要的技能也不同。下面我們來具體的看一下數據分析崗位工作職責和工作內容是什麼?
第一種,在業務相關部門的數據分析人員,最主要的職責是發現業務問題,提供決策支持。了解業務也是很重要的優勢,否則,只是就數據說數據,沒有意義。最初級的數據分析人員,會excel的簡單功能,比如透視圖、一般函數公式、VBA等,會用SQL提取數據,最主要的技能是會用PPT寫各種分析報告。這些技能入門還是相對比較容易的,相關資料很多,這里就不一一列舉。業務部門高級數據分析人員,需要會數據挖掘、建模,用於支持業務、優化系統流程、提高效率,比如精準銷售、客戶留存、風險控制等。一般情況下,業務部門的數據分析人員不需要會模型的系統實現,由IT相關人員實施。
第二種,是技術相關部門的數據分析人員。主要職責是支持業務部門的數據提取、資料庫管理、數據挖掘建模的系統實現。有的公司也要會寫PPT報告。技術部門的數據分析人員,一般需要計算機相關專業,編程能力是必須的。所以,對於無計算機基礎的人員來說,入門相對難些。如果是計算機相關專業或計算機基礎較好的轉成數據分析方向相對比較容易。高級的數據分析人員,可以轉機器學習、人工智慧等方向,現在很熱門,也是未來的發展趨勢。
不管是哪個方向,統計學的基礎知識是必須的。另外,要找一個好導師,比如,數據分析能力強的上級或同事,可以少走很多彎路。各種技能最關鍵的是要實踐,時刻要找機會鍛煉自己的技能,形成數據分析思維。
以上就是小編今天給大家整理發送的關於「數據分析崗位工作職責和工作內容」的相關內容,希望對大家有所幫助。想知道2020年數據分析工程師如何發展,關注小編,持續更新。
⑺ 大數據分析師這個職業怎麼樣
近期成為月入兩萬的數據分析師的廣告遍地都是,可能會對一些未入行的同學造成錯覺。我個人感覺數據分析師這個崗位,可能近幾年會消亡。
這不意味著這份工作本身不重要,而是說這份工作本身可能會轉化為產品運營的一些必備技能,而不再需要單獨特設人力去做這件事。或者說,不是再需要你學習SQL或者學習python,只是為了成為一名數據分析師。作為一名數據分析師,職業自身的壁壘正在不斷消減,更加主動的擁抱業務,解決真正的產品和用戶需求,或將成為未來的發展趨勢。
數據分析師的日常工作
我們來看下預設中的分析師的一些工作場景,看看數據分析師核心的工作價值。
取數
數據清洗
數據可視化
統計分析
數據方向建設和規劃
數據報告
取數 — SQL
很多人對數據分析師的預設是SQL達人,包括現在很多數據分析師的核心工作其實就是進行SQL取數。
這項工作的痛點和難點在於,我們為了得到一個結果,通常需要join很多的數據集,然後整個SQL語句就會寫的特別長,而且可能會出現一些問題:比如join的表可能會出現key是重復的情況,造成最終的SQL結果因為重復而變得不可用。所以我們需要專人去專門維護各種各樣的數據集,他們知道每張表應該怎麼用。
但這個其實是關系型資料庫遺留下來的產物——我們完全可以不需要join那麼多的表。現在的分布式計算的框架,已經完全可以支持我們只保留一張大寬表,有需要的所有欄位,然後所有的操作都在這張大寬表上進行,而且可以保證查詢速度。這樣數據分析最大的痛點已經沒有了。至於你說大寬表裡面存了很多重復的數據,是不是很浪費資源(關系型資料庫之所以不用大寬表就是從存儲空間和性能的trade-off角度考慮的):放心,分布式存儲本身是不貴的,而計算效率則是由分布式計算框架進行專門優化的。現在的計算框架計算的響應速度,已經可以在大寬表上可以很快的得到結果了。相比之下,多次join操作反而可能會更慢一些。
同時,現在很多公司的NB框架,其實都已經支持拖拽取數了,也根本不需要寫SQL了。
此外,不得不說的一點是,SQL語句本身真的不難。可能如果你自己靜下心來想學,一個周末的時間肯定能搞定。而資歷老的數據分析師,並不會比資歷輕的數據分析師,在SQL語句的寫作上有什麼本質的區別。以前可能還有一些小表join大表的trick,但現在計算框架大多都已經優化過這些了。所以即使是需要寫SQL的場景,本身也是沒有什麼難度的。
所以,通過大寬表來解放數據分析工作的生產力。即使在一定要寫SQL做join操作的時候,本身也不是一件壁壘特別高的事情。取數這件事兒,對於其他崗位的同學,就已經沒那麼復雜了。
數據清洗 — Python
數據清洗其實是很多強調python進行數據分析課程中,python部分的主要賣點。包括但不限於,怎麼處理異常值,怎麼從一些原始的數據中,得到我們想要的數據。
在日常產品需求過程中,這種需求的場景其實很小。因為數據大部分都是自己產生的,很少會出現沒有預設到的極端值或者異常情況。如果有的話,一般就是生產數據的同學代碼寫的有bug,這種發現了之後修復代碼bug就行。
數據清洗在工作場景的應用在於落表——就是把原始數據變成上面提到的,可以通過SQL提取的hive表。這個工作是需要懂代碼的同學去支持的,他們負責數據的產出,包括數據的准確性,數據的延時性(不能太晚產出)等等。前文提到的生成大寬表,其實也可以是他們的工作。這其中就涉及到一些代碼的效率優化問題,這個就不是簡單懂一點python可以搞定的了,可能涉及到一些數據壓縮格式的轉化,比如Json/Proto buffer到hive表的轉化,還有一些計算框架層面的調優,比如spark設置什麼樣的參數,以及怎麼樣存儲可以更好的提升查詢速度。
所以這部分工作一般是由懂代碼的同學完成的。可能數據團隊會有比較少數的同學,管理支持全公司的基礎表的生成。
數據可視化 — Tableau
很多之前在數據分析做實習的同學,主要的工作內容就是在一個商業化的軟體(比如Tableau)上,做一些統計報表。這樣可以通過這些數據報表,可以很方便的查看到所屬業務的一些關鍵指標。這些商業軟體通常都比較難用,比如可能需要先預計算一下才能輸出結果;而且不太好做自定義功能的開發。稍微復雜一點的需求場景,可能就需要一個專門的同學搗鼓一陣,才能輸出最終的統計報表。
現在有更先進的套路了。
首先可視化。很多公司打通了前端和後端的數據,這樣就可以通過網頁查詢原始的資料庫得到數據結果。而現在很多優秀的前端可視化插件,已經可以提供非常豐富的統計圖形的支持。而且因為代碼是開源的,可以根據公司的需求場景進行針對性的開發,公司可以再輔以配置一些更加用戶友好的操作界面,這樣一些復雜需求也有了簡單拖拽實現的可能。而且這些前端js代碼都是免費的!對於公司來說也能省去一筆商業公司的采買成本。
其次很多商業軟體,都是針對小數據集場景設計的。在一些大數據集的場景,一般需要先預計算一些中間表。而如果自己公司定製化開發的前端展示結果,就可以根據需要自主設置計算邏輯和配置計算資源,先在後端進行預計算,前端最終只是作為一個結果展示模塊,把結果展示和需要的預計算進行解耦。這樣就省去了很多中間表的產出,也會更加快速的得到想要的業務指標,快速迭代。
所以可視化數據的工作量也會大大減少。而且會變成一個人人都可以操作,快速得到結果的場景。
統計分析
對於一名數據分析師而言,統計學分析可能是一塊知識性的壁壘。尤其是在現在ab實驗成為互聯網公司迭代標配的今天。需要把實驗設計的那套理論應用起來:比如ab實驗進行後的顯著性檢驗,多少樣本量的數據才能讓這個結論有效可信呢。
但是,你我都知道,經典的統計分析其實是一個非常套路性的工作。其實就是套公式,對應到代碼層面,可能也就一兩行就搞定了。這個代碼的統計分析結果可以作為ab平台的指標展示在最終的ab結果上,大家看一眼就能明白。即使是對那些可能不知道顯著性是什麼意思的人,你可以跟他簡單說,顯著了才有效,不顯著就別管。
這么一想是不是其實不怎麼需要投入額外的人力進行分析?
其他數據相關的工作
數據層面的規劃和設計。移動互聯網剛剛興起的時候,可能那時候數據分析師需要對每一個數據怎麼來設計一套方案,包括原始的埋點怎麼樣,又要怎麼統計出想要的結果。但現在大部分已經過了快速迭代的時代了,新產品的埋點添加可以參考老產品,這就意味著形成套路了。而一旦形成套路,其實就意味著可以通過程序直接完成或者輔助完成。
數據報告。那就真的是一件人人都能做的事情了,試想誰沒在大學期間做過數據報告呢?以前只是因為數據都是從分析師產出的,而如果人人都能取到數據的話,數據報告是不是也不是一個真需求呢?
在我看來,數據分析師這個崗位的天花板和其他崗位相比起來是比較低的。可能工作一兩年之後,從崗位本身就已經學不到什麼額外的工作知識了。主要的工作內容技術含量不是特別高,技能性的更多的是一些可以簡單上手的東西,而且做的時間長了,在這些技能性的事情上得到的積累並不是很多。
數據分析師更像是一個在時代變遷過程中的一個中間崗位:我們從一個基本沒有數據的時代,突然進入了一個數據極大豐富的時代,在這個過程中,我們都知道重視數據。那怎麼能夠利用這個數據呢?可能之前的那一幫人並沒有太多的經驗,於是老闆就招一些人專門來研究一下它,同時做一些底層數據的優化。
經過多年的迭代,現在互聯網行業的每個人都知道數據的價值,也大概知道了什麼樣的數據是重要的,怎樣可以更好的挖掘數據背後的價值。同時底層的基礎設施也已經支持可以讓一個之前沒有經驗的同學可以快速的上手得到自己想要的關鍵數據。這時候對於一個職業數據分析師來說,他的任務就已經完成了。就如同當人人都會講英語的時候,翻譯其實也就沒有存在的價值了。
此後的數據分析工作,可能不再是一些單獨的人做的工作。它會變成一個產品和運營的基礎工具,而且足夠簡單,沒有取數的門檻。只是產品運營怎麼樣可以更好的認識數據,通過數據本身更好的配合產品運營的工作,這已經超脫我們一般理解的數據分析師的工作了,而是一個產品運營分內的工作。
對於那些已經在從事數據分析師崗位的同學來說,建議不要把心思全部投入到數據分析的本職工作上,以完成任務為核心KPI。而是不要給自己設置邊界,多從用戶的角度思考問題,不要因為是產品運營的工作就不去做了。數據分析師這個職業發展到這個階段,要麼做更加底層的數據建設,要麼擁抱業務,最大化的發掘數據背後背後的價值。不要再死守著數據分析的「固有技能」沾沾自喜了。
數據本身的價值是無窮的,作為數據分析師,你們已經先人一步的掌握它了,要有先發優勢。你們最接近數據的人,是最可能發現用戶的寶藏的人。
⑻ 數據分析員的崗位職責
1. 持證上崗。
2. 熱愛本職工作,具有高度的責任心和忘我的工作精神,愛崗敬業,工作認真細致,能認真完成公司交給的各項工作任務。
3. 要求掌握較深的業務知識和計算機應用知識,能用行業各種應用軟體進行各種數據分析和綜合數據處理,加工成有用的信息提供領導進行決策;能配合系統管理員進行計算機網路維護及管理。
4. 負責本公司計算機信息網路數據的收集、傳遞(主要是上報)和管理工作,對各網點上報的數據和本機房傳遞的信息數據,要做好詳細的「數據傳遞紀錄」,對未按時間要求漏報和數據有誤的網點要及時督促,每月將各經營站、點數據上報情況通報一次;負責各類數據的整理、匯總和分析處理工作,及時向本公司領導及有關部門上報信息數據,做好相關紀錄;負責本公司網路信息數據的安全管理,及時做好各類數據及報表的備份工作,做好歸檔、保管工作,做好信息數據的保密工作,嚴禁向未授權單位、部門及個人提供各類信息數據;負責機房文件收發、歸檔和保管工作。
5. 遵守特定的工作時間:必須等各網點數據傳輸完畢核對無誤後才能下班。
⑼ 資料庫相關職位
個人感覺資料庫架構師和數據倉庫工程師的能力要求要高些,對大型資料庫的應用要達到熟練或精通的水平,因此,待遇也相對來說好一些。資料庫開發工程師的層次相對低些,待遇也稍低。數據架構師,一般企業需要一兩個足以。
數據倉庫工程師在金融行業或者大型網站的就業機會會大些。
資料庫開發工程師的就業路子最寬。以下是一些個案,僅供參考。
一、資料庫架構師
任職要求:
1.項目開發經驗;
2.豐富的SQL Server、DB2 、Oracle、Sybase大型資料庫研發設計經驗;
3.豐富的資料庫關系模型和物理模型建模經驗;
4.有資料庫性能優化經驗;
5.掌握數據倉庫的基本理論,有數據倉庫的實際開發經驗;二、數據倉庫工程師
職位描述:
1、對數據倉庫系統的架構設計,編寫專業的系統設計文檔;
2、配合項目經理進行項目需求分析、應用分解、各模塊的概要和詳細設計;
3、實施項目開發。
職位要求:
1、有1年以上的ETL、OLAP工具的實際開發經驗,有BO、MSTR、Insight、Hyperion Intelligence(Brio)等其中一種開發工具實踐經驗者優先;
2、熟練使用Oracle等資料庫,精通SQL、存儲過程,有Java和資料庫性能調優的經驗者優先;
3、深入理解數據倉庫、數據建模等概念,有商業智能相關系統實際建模經驗者優先;三、資料庫開發工程師
崗位職責:
1、資料庫設計與優化;
2、存儲過程設計與開發;
3、審核、指導開發工程師有關資料庫設計、數據存取方法;
4、協助工程部門實施資料庫部署;
5、為測試部門提供資料庫支持。
任職要求:
1、本科學歷,計算機相關專業
2、兩年以上工作經驗和資料庫設計/開發/管理經驗
3、熟悉計算機和資料庫等相關基礎知識
4、熟悉linux/unix、windows等相關技術
5、精通oracle等大型資料庫技術,熟練掌握資料庫開發技術,熟練使用sqlplus進行存儲過程開發,精確sql語言。
6、掌握系統數據存儲架構設計技能和數據備份管理技術
7、良好的溝通能力和執行能力;正直、務實、敬業、善於思考、良好的團隊合作精神