『壹』 rv260w設置
配置埠設置
第 1 步
登錄Web配置實用程序並導航至LAN > Port Settings。
在本文中，我們將使用RV160配置埠設置。配置可能因您所使用的型號而異。有關訪問Web配置實用程序頁面的詳細信息，請單擊此處。
在埠表區域，埠欄位列出路由器上當前可用的埠。
步驟 2
要修改埠標簽，請在埠標簽欄位中輸入新的標簽。在本例中，LAN1的默認埠標簽保留。
步驟 3
選中啟用復選框以啟用埠設置。如果未選中啟用框，則不應用埠設置。
步驟 4
選中乙太網節能(EEE)復選框，以允許埠在低數據活動期間消耗較少的功率。
步驟 5
流量控制功能允許接收設備向發送設備發送擁塞信號。這會告知發送設備暫時停止傳輸，以幫助緩解擁塞。如果要啟用流控制，請選中該復選框。
步驟 6
在Mode欄位中，從下拉列表中選擇埠設置模式。您可以在此配置速度和雙工，即數據傳輸方式。全雙工模式表示設備之間的數據傳輸可以同時沿兩個方向傳輸。半雙工允許通信雙向，但一次只有一個方向。除非您的其他設備沒有自動協商功能，否則建議使用自動協商。如果是這樣，您可以手動選擇它支持的速度和雙工。選項有：
自動協商（千兆） — 設備與連接的設備自動協商連接速度和雙工模式。
10Mbps半 — 兩個方向為10 Mbps，但一次只有一個方向。
滿10Mbps — 兩個方向同時為10 Mbps。
100Mbps半 — 兩個方向為100Mbps，但一次只有一個方向。
滿100Mbps — 兩個方向同時為100 Mbps。
在本例中，選擇「自動協商(千兆)」。
步驟 7（可選）
巨型幀是負載超過1500位元組的乙太網幀，這是IEEE 802.3標准所設置的限制。巨型幀最多可承載9000位元組的負載。某些軟體會使用它來移動大數據塊（大文件副本），因為它更高效。如果要啟用巨型幀，請選中啟用復選框。
通常，巨型幀流量首選具有自己的VLAN，以便能夠與其他流量隔離。單擊超鏈接以了解SG200/300系列託管交換機上的ICMP巨幀的防禦。
步驟 8（可選）
埠鏡像通常用於需要監控網路流量的網路設備。它會將一個埠上發現的網路數據包的副本發送到另一個埠上的網路監控連接。如果要啟用埠鏡像配置，請選中啟用復選框。
步驟 9（可選）
選擇將監控源埠流量的目標埠。從下拉列表中選擇一個LAN埠（LAN1到LAN4）。在本例中，我們將選擇LAN3。
步驟 10（可選）
選擇在目標埠上監控流量的埠。
無法選擇要監控的目標埠。
步驟 11（可選）
此步驟僅適用於RV260。如果要配置鏈路聚合組(LAG)，請選擇2-4個LAN埠以聚合為一個LAG。LAG可增加帶寬，提高埠靈活性，並在兩個設備之間提供鏈路冗餘。在本示例中，我們選擇LAN7和LAN8作為LAG1的一部分。請確保連接到LAN7和LAN8的其他設備也配置了LAG。
本示例中使用了RV260W。將作為LAG一部分的埠上的所有現有配置都將丟失。LAG將覆蓋埠配置。
Link State欄位將顯示LAG的鏈路是活動鏈路還是關閉鏈路。
步驟 12
單擊 apply 保存更改。
結論
現在，您應該已成功配置RV160或RV260路由器上的埠設置。
『貳』 如何為大數據處理構建高性能Hadoop集群
越來越多的企業開始使用Hadoop來對大數據進行處理分析，但Hadoop集群的整體性能卻取決於CPU、內存、網路以及存儲之間的性能平衡。而在這篇文章中，我們將探討如何為Hadoop集群構建高性能網路，這是對大數據進行處理分析的關鍵所在。
關於Hadoop
「大數據」是鬆散的數據集合，海量數據的不斷增長迫使企業需要通過一種新的方式去管理。大數據是結構化或非結構化的多種數據類型的大集合。而 Hadoop則是Apache發布的軟體架構，用以分析PB級的非結構化數據，並將其轉換成其他應用程序可管理處理的形式。Hadoop使得對大數據處理成為可能，並能夠幫助企業可從客戶數據之中發掘新的商機。如果能夠進行實時處理或者接近實時處理，那麼其將為許多行業的用戶提供強大的優勢。
Hadoop是基於谷歌的MapRece和分布式文件系統原理而專門設計的，其可在通用的網路和伺服器硬體上進行部署，並使之成為計算集群。
Hadoop模型
Hadoop的工作原理是將一個非常大的數據集切割成一個較小的單元，以能夠被查詢處理。同一個節點的計算資源用於並行查詢處理。當任務處理結束後，其處理結果將被匯總並向用戶報告，或者通過業務分析應用程序處理以進行進一步分析或儀表盤顯示。
為了最大限度地減少處理時間，在此並行架構中，Hadoop「moves jobs to data」，而非像傳統模式那樣「moving data to jobs」。這就意味著，一旦數據存儲在分布式系統之中，在實時搜索、查詢或數據挖掘等操作時，如訪問本地數據，在數據處理過程中，各節點之間將只有一個本地查詢結果，這樣可降低運營開支。
Hadoop的最大特點在於其內置的並行處理和線性擴展能力，提供對大型數據集查詢並生成結果。在結構上，Hadoop主要有兩個部分：
Hadoop分布式文件系統(HDFS)將數據文件切割成數據塊，並將其存儲在多個節點之內，以提供容錯性和高性能。除了大量的多個節點的聚合I/O，性能通常取決於數據塊的大小——如128MB。而傳統的Linux系統下的較為典型的數據塊大小可能是4KB。
MapRece引擎通過JobTracker節點接受來自客戶端的分析工作，採用「分而治之」的方式來將一個較大的任務分解成多個較小的任務，然後分配給各個TaskTrack節點，並採用主站/從站的分布方式(具體如下圖所示)：
Hadoop系統有三個主要的功能節點：客戶機、主機和從機。客戶機將數據文件注入到系統之中，從系統中檢索結果，以及通過系統的主機節點提交分析工作等。主機節點有兩個基本作用：管理分布式文件系統中各節點以及從機節點的數據存儲，以及管理Map/Rece從機節點的任務跟蹤分配和任務處理。數據存儲和分析處理的實際性能取決於運行數據節點和任務跟蹤器的從機節點性能，而這些從機節點則由各自的主機節點負責溝通和控制。從節點通常有多個數據塊，並在作業期間被分配處理多個任務。
部署實施Hadoop
各個節點硬體的主要要求是市縣計算、內存、網路以及存儲等四個資源的平衡。目前常用的並被譽為「最佳」的解決方案是採用相對較低成本的舊有硬體，部署足夠多的伺服器以應對任何可能的故障，並部署一個完整機架的系統。
Hadoop模式要求伺服器與SAN或者NAS進行直接連接存儲(DAS)。採用DAS主要有三個原因，在標准化配置的集群中，節點的縮放數以千計，隨著存儲系統的成本、低延遲性以及存儲容量需求不斷提高，簡單配置和部署個主要的考慮因素。隨著極具成本效益的1TB磁碟的普及，可使大型集群的TB級數據存儲在DAS之上。這解決了傳統方法利用SAN進行部署極其昂貴的困境，如此多的存儲將使得Hadoop和數據存儲出現一個令人望而卻步的起始成本。有相當大一部分用戶的Hadoop部署構建都是採用大容量的DAS伺服器，其中數據節點大約1-2TB，名稱控制節點大約在1-5TB之間，具體如下圖所示：
來源：Brad Hedlund, DELL公司
對於大多數的Hadoop部署來說，基礎設施的其他影響因素可能還取決於配件，如伺服器內置的千兆乙太網卡或千兆乙太網交換機。上一代的CPU和內存等硬體的選擇，可根據符合成本模型的需求，採用匹配數據傳輸速率要求的千兆乙太網介面來構建低成本的解決方案。採用萬兆乙太網來部署Hadoop也是相當不錯的選擇。
萬兆乙太網對Hadoop集群的作用
千兆乙太網的性能是制約Hadoop系統整體性能的一個主要因素。使用較大的數據塊大小，例如，如果一個節點發生故障(甚至更糟，整個機架宕機)，那麼整個集群就需要對TB級的數據進行恢復，這就有可能會超過千兆乙太網所能提供的網路帶寬，進而使得整個集群性能下降。在擁有成千上萬個節點的大型集群中，當運行某些需要數據節點之間需要進行中間結果再分配的工作負載時，在系統正常運行過程中，某個千兆乙太網設備可能會遭遇網路擁堵。
每一個Hadoop數據節點的目標都必須實現CPU、內存、存儲和網路資源的平衡。如果四者之中的任意一個性能相對較差的話，那麼系統的潛在處理能力都有可能遭遇瓶頸。添加更多的CPU和內存組建，將影響存儲和網路的平衡，如何使Hadoop集群節點在處理數據時更有效率，減少結果，並在Hadoop集群內添加更多的HDFS存儲節點。
幸運的是，影響CPU和內存發展的摩爾定律，同樣也正影響著存儲技術(TB級容量的磁碟)和乙太網技術(從千兆向萬兆甚至更高)的發展。預先升級系統組件(如多核處理器、每節點5-20TB容量的磁碟，64-128GB內存)，萬兆乙太網卡和交換機等網路組件是重新平衡資源最合理的選擇。萬兆乙太網將在Hadoop集群證明其價值，高水平的網路利用率將帶來效益更高的帶寬。下圖展示了Hadoop集群與萬兆乙太網的連接：
許多企業級數據中心已經遷移到10GbE網路，以實現伺服器整合和伺服器虛擬化。隨著越來越多企業開始部署Hadoop，他們發現他們完全不必要大批量部署1U的機架伺服器，而是部署更少，但性能更高的伺服器，以方便擴展每個數據節點所能運行的任務數量。很多企業選擇部署2U或4U的伺服器(如戴爾 PowerEdge C2100)，每個節點大約12-16個核心以及24TB存儲容量。在這種環境下的合理選擇是充分利用已經部署的10GbE設備和Hadoop集群中的 10GbE網卡。
在日常的IT環境中構建一個簡單的Hadoop集群。可以肯定的是，盡管有很多細節需要微調，但其基礎是非常簡單的。構建一個計算、存儲和網路資源平衡的系統，對項目的成功至關重要。對於擁有密集節點的Hadoop集群而言，萬兆乙太網能夠為計算和存儲資源擴展提供與之相匹配的能力，且不會導致系統整體性能下降。
『叄』 大數據之點聚合演算法
在地圖上查詢結果通常以標記點的形式展現，但是如果標記點較多，不僅會大大增加客戶端的渲染時間，讓客戶端變得很卡，而且會讓人產生密集恐懼症（圖1）。為了解決這一問題，我們需要一種手段能在用戶有限的可視區域范圍內，利用最小的區域展示出最全面的信息，而又不產生重疊覆蓋。
直接距離法，數據量大的話數據會比較慢，聚合效果也不太真實
這里直接選用網格距離法
1、網格法，聚合出所要的點
2、直接距離法，進一步聚合
『肆』 配置鏈路聚合有哪些條件
聚合的埠要有相同的雙工模式，相同的速率，若是access埠，pvid要一致，若是802.1q埠，要求聚合的埠都是trunk，且允許通過的vlan范圍一致。
『伍』 大數據處理的基本流程
大數據處理的基本流程分三步，如下：
1.數據抽取與集成
由於大數據處理的數據來源類型豐富，利用多個資料庫來接收來自客戶端的數據， 包括企業內部資料庫、互聯網數據和物聯網數據，所以需要從數據中提取關系和實體， 經過關聯和聚合等操作，按照統一定義的格式對數據進行存儲。 用戶可以通過上述資料庫來進行簡單的查詢和處理。
3.數據解釋
數據處理的結果是大數據處理流程中用戶最關心的問題，正確的數據處理結果需要通過合適的展示方式被終端用戶正確理解。數據解釋的主要技術是可視化和人機交互。
『陸』 大數據平台建設有哪些步驟以及需要注意的問題
大數據平台的搭建步驟：
1、linux系統安裝
一般使用開源版的Redhat系統--CentOS作為底層平台。為了提供穩定的硬體基礎，在給硬碟做RAID和掛載數據存儲節點的時，需要按情況配置。
2、分布式計算平台/組件安裝
國內外的分布式系統的大多使用的是Hadoop系列開源系統。Hadoop的核心是HDFS，一個分布式的文件系統。在其基礎上常用的組件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等
使用開源組件的優點：1）使用者眾多，很多bug可以在網上找的答案（這往往是開發中最耗時的地方）。2）開源組件一般免費，學習和維護相對方便。3）開源組件一般會持續更新，提供必要的更新服務『當然還需要手動做更新操作』。4）因為代碼開源，若出bug可自由對源碼作修改維護。
3、數據導入
數據導入的工具是Sqoop。用它可以將數據從文件或者傳統資料庫導入到分布式平台『一般主要導入到Hive，也可將數據導入到Hbase』。
4、數據分析
數據分析一般包括兩個階段：數據預處理和數據建模分析。
數據預處理是為後面的建模分析做准備，主要工作時從海量數據中提取可用特徵，建立大寬表。這個過程可能會用到Hive sql，Spark QL和Impala。
數據建模分析是針對預處理提取的特徵/數據建模，得到想要的結果。這一塊最好用的是Spark。常用的機器學習演算法，如樸素貝葉斯、邏輯回歸、決策樹、神經網路、TFIDF、協同過濾等，都已經在ML lib裡面，調用比較方便。
5、結果可視化及輸出API
可視化一般式對結果或部分原始數據做展示。一般有兩種情況，行數據展示，和列查找展示。要基於大數據平台做展示，會需要用到ElasticSearch和Hbase。Hbase提供快速『ms級別』的行查找。 ElasticSearch可以實現列索引，提供快速列查找。
大數據平台搭建中的主要問題
1、穩定性 Stability
理論上來說，穩定性是分布式系統最大的優勢，因為它可以通過多台機器做數據及程序運行備份以確保系統穩定。但也由於大數據平台部署於多台機器上，配置不合適，也可能成為最大的問題。
2、可擴展性 Scalability
如何快速擴展已有大數據平台，在其基礎上擴充新的機器是雲計算等領域應用的關鍵問題。在實際2B的應用中，有時需要增減機器來滿足新的需求。如何在保留原有功能的情況下，快速擴充平台是實際應用中的常見問題。
『柒』 大數據專業用什麼配置筆記本夠用
您好，小米筆記本 RedmiBook Pro 14 採用的是 AMD 的銳龍處理器，有兩個選擇，R5的5500和R7的5700。兩款都是使用了16GB的內存和512GB的PCIe固態硬碟。
由於大數據專業會使用到資料庫，而資料庫又是一個龐大的數據中心，會很長在短時間內運行一系列的篩選功能進行資料庫的優化，所以對於機子的運算能力有較高的要求，因此內存、儲存的容量和速度也很關鍵；但對於顯卡和屏幕的要求就不高了。
所以個人會建議您要是考慮買 RedmiBook Pro 14 這個筆記本電腦，考慮買 R7的5700 處理器版本，先暫時使用。假如感覺速度不夠快，或是資料庫過大時，可以後期再添加16GB的內存，達到32GB（最好買機子是1條16GB的內存條，而不是2條8GB，否者將來添加內存時，需要買2條16GB的，替換掉2條8GB的內存條，而不是只是買1條16GB）。假如儲存空間不夠，將來可以更換到1T或是2T的固態硬碟，然後把機子裡面的拔出來做成外置的固態硬碟使用。
『捌』 大數據之-HIVE入門（十四）
當join時有一個或多個小表可以裝載進內存時可以使用mapjoin完成。
第一種方法是可以加上mapjoin指示
第二種方法是設置 set hive.auto.convert.join=true;來讓hive自動優化。同時可以指定
set hive.auto.convert.join.noconditionaltask = true; --默認開啟
set hive.auto.convert.join.noconditionaltask.size = 10000000; --默認10M，可以根據需求做調整。
hive.mapjoin.smalltable.filesize= 2500000；--早期hive版本小表文件大小設置默認25M。
當數據量比較大啟動mapjoin後會造成問題請關閉
set hive.map.aggr = true; //是否在 Map 端進行聚合，默認為 True ；
set hive.groupby.mapaggr.checkinterval = 100000000; //在 Map 端進行聚合操作的條目數目
1、在關聯操作前盡量減小數據集,能先聚合的先聚合、能過濾的先過濾（如設置查詢條件、合理設置分區，有分區必須設置分區范圍）。
2、關聯時數據類型要做到一致，如果不一致請用cast先轉換類型。
3、慎用count(distinct) ，容易產生數據傾斜，可以先group by 再count。
4、減少小文件，合理設置輸入文件大小、合理設置map job 、rece job數。
set hive.merge.mapredfiles=true；--設置合並map文件標識。
set mapred.max.split.size=100000000; --設置最大輸入文件大小，大於此數值都會進行拆分。
set mapred.min.split.size.per.node=100000000;--設置每個節點可處理的最小值。
set mapred.min.split.size.per.rack=100000000;--設置每個機架可處理的最小值。
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; – 執行前進行小文件合並。
set mapred.rece.tasks=10; -- 設置rece的數量
set hive.exec.recers.bytes.per.recer=1073741824 --設置每個rece所處理的數據大小
5、選取欄位避免用select * ，只引用你要用的欄位，如select a.uid,a.price。
6、關聯值有null值的情況下，可以將null值過濾出來單獨處理或者將null值隨機賦值。當存在某key有熱點問題，也可以同樣處理。
7、合理設置數據模型、文件存儲格式有利於查詢效率優化。
8、善用union all 合並對於同一個表的查詢，有利於整體提高效率。
9、合理使用中間臨時表，數據量巨大時，如統計一年的數據，可先小規模聚合如按月聚合生成中間表，最後再合並統計出結果。
10、有order by 要限制輸出條數。
11、合理設置並行查詢
set hive.exec.parallel= true ； --以開啟並發執行。
set hive.exec.parallel.thread.number= 10 ; //同一個sql允許最大並行度，默認為8。
『玖』 大數據數倉項目架構
雲上數據倉庫解決方案： https://www.aliyun.com/solution/datavexpo/datawarehouse
離線數倉架構
離線數倉特點
基於Serverless的雲上數據倉庫解決方案
架構特點
實時數倉架構
[圖片上傳失敗...(image-ec3d9a-1629814266849)]
實時數倉架構特點
秒級延遲，實時構建數據倉庫，架構簡單，傳統數倉平滑升級
架構特點
數據倉庫的輸入數據源和輸出系統分別是什麼？
輸入系統：埋點產生的用戶行為數據、JavaEE後台產生的業務數據、個別公司有爬蟲數據。
輸出系統：報表系統、用戶畫像系統、推薦系統
1）Apache：運維麻煩，組件間兼容性需要自己調研。（一般大廠使用，技術實力雄厚，有專業的運維人員）
2）CDH：國內使用最多的版本，但 CM不開源，但其實對中、小公司使用來說沒有影響（建議使用）10000美金一個節點 CDP
3）HDP：開源，可以進行二次開發，但是沒有CDH穩定，國內使用較少
伺服器使用物理機還是雲主機？
1）機器成本考慮：
（1）物理機：以128G內存，20核物理CPU，40線程，8THDD和2TSSD硬碟，單台報價4W出頭，惠普品牌。一般物理機壽命5年左右。
（2）雲主機，以阿里雲為例，差不多相同配置，每年5W
2）運維成本考慮：
（1）物理機：需要有專業的運維人員（1萬*13個月）、電費（商業用戶）、安裝空調
（2）雲主機：很多運維工作都由阿里雲已經完成，運維相對較輕松
3）企業選擇
（1）金融有錢公司和阿里沒有直接沖突的公司選擇阿里雲（上海）
（2）中小公司、為了融資上市，選擇阿里雲，拉倒融資後買物理機。
（3）有長期打算，資金比較足，選擇物理機。
根據數據規模大家集群
屬於 研發部 /技術部/數據部，我們屬於 大數據組 ，其他還有後端項目組，前端組、測試組、UI組等。其他的還有產品部、運營部、人事部、財務部、行政部等。
大數據開發工程師=>大數據組組長=》項目經理=>部門經理=》技術總監
職級就分初級，中級，高級。晉升規則不一定，看公司效益和職位空缺。
京東：T1、T2應屆生；T3 14k左右 T4 18K左右 T5 24k-28k左右
阿里：p5、p6、p7、p8
小型公司（3人左右）：組長1人，剩餘組員無明確分工，並且可能兼顧javaEE和前端。
中小型公司（3~6人左右）：組長1人，離線2人左右，實時1人左右（離線一般多於實時），組長兼顧和javaEE、前端。
中型公司（5 10人左右）：組長1人，離線3 5人左右（離線處理、數倉），實時2人左右，組長和技術大牛兼顧和javaEE、前端。
中大型公司（10 20人左右）：組長1人，離線5 10人（離線處理、數倉），實時5人左右，JavaEE1人左右（負責對接JavaEE業務），前端1人（有或者沒有人單獨負責前端）。（發展比較良好的中大型公司可能大數據部門已經細化拆分，分成多個大數據組，分別負責不同業務）
上面只是參考配置，因為公司之間差異很大，例如ofo大數據部門只有5個人左右，因此根據所選公司規模確定一個合理范圍，在面試前必須將這個人員配置考慮清楚，回答時要非常確定。
IOS多少人 安卓多少人 前端多少人 JavaEE多少人 測試多少人
（IOS、安卓） 1-2個人 前端1-3個人； JavaEE一般是大數據的1-1.5倍，測試：有的有，有的沒有。1個左右。 產品經理1個、產品助理1-2個，運營1-3個
公司劃分：
0-50 小公司
50-500 中等
500-1000 大公司
1000以上 大廠 領軍的存在
轉自： https://blog.csdn.net/msjhw_com/article/details/116003357
『拾』 大數據之Tez搭建與使用
Tez是一個Hive的運行引擎，性能優於MR
Tez可以將多個有依賴的作業轉換為一個作業，這樣只需寫一次HDFS，且中間節點較少，從而大大提升作業的計算性能
首先啟動zk和hdfs
添加
pom.xml
啟動hive
視頻表結構
用戶表結構
思路：使用order by按照views欄位做一個全局排序即可，同時我們設置只顯示前10條。
（1）即統計每個類別有多少個視頻，顯示出包含視頻最多的前10個類別。
（2）我們需要按照類別group by聚合，然後count組內的videoId個數即可。
（3）因為當前表結構為：一個視頻對應一個或多個類別。所以如果要group by類別，需要先將類別進行列轉行(展開)，然後再進行count即可。
（4）最後按照熱度排序，顯示前10條。
（1）先找到觀看數最高的20個視頻所屬條目的所有信息，降序排列
（2）把這20條信息中的category分裂出來(列轉行)
（3）最後查詢視頻分類名稱和該分類下有多少個Top20的視頻
（1）要想統計Music類別中的視頻熱度Top10，需要先找到Music類別，那麼就需要將category展開，所以可以創建一張表用於存放categoryId展開的數據。
（2）向category展開的表中插入數據。
（3）統計對應類別（Music）中的視頻熱度。
（1）求出上傳視頻最多的10個用戶
（2）關聯gulivideo_orc表，求出這10個用戶上傳的所有的視頻，按照觀看數取前20