『壹』 Mysql窗口函數
MySQL從8.0開始支持窗口函數。也就是分析函數
序號函數：ROW_NUMBER()、RANK()、DENSE_RANK()
分布函數：PERCENT_RANK()、CUME_DIST()
前後函數：LAG()、LEAD()
頭尾函數：FIRST_VALUE()、LAST_VALUE()
其它函數：NTH_VALUE()、NTILE()
例子：
首先有一個表欄位：id score（分數）user_id
1.序號函數：ROW_NUMBER()、RANK()、DENSE_RANK()
用途：顯示分區中的當前行號,對查詢結果進行排序.
ROW_NUMBER()：順序排序——1、2、3 RANK()：並列排序，跳過重復序號——1、1、3 DENSE_RANK()：並列排序，不跳過重復序號——1、1、2
執行sql:
2.分布函數：PERCENT_RANK()、CUME_DIST()
用途：每行按照公式(rank-1) / (rows-1)進行計算。其中，rank為RANK()函數產生的序號，rows為當前窗口的記錄總行數
3.前後函數：LAG()、LEAD()
LAG和LEAD分析函數可以在同一次查詢中取出同一欄位的前N行的數據(LAG)和後N行的數據(LEAD)作為獨立的列
在實際應用當中，若要用到取今天和昨天的某欄位差值時，LAG和LEAD函數的應用就顯得尤為重要。當然，這種操作可以用表的自連接實現，但是LAG和LEAD與LEFT JOIN、RIGHT JOIN等自連接相比，效率更高，SQL更簡潔。下面我就對這兩個函數做一個簡單的介紹。
函數語法如下：
lag(exp_str,offset,defval) OVER(PARTITION BY …ORDER BY …)
lead(exp_str,offset,defval) OVER(PARTITION BY …ORDER BY …)
參數說明：
exp_str是欄位名
offset是偏移量，即是上1個或上N個的值，假設當前行在表中排在第10行，則offset 為3，則表示我們所要找的數據行就是表中的第7行(即10-3=7)。
defval默認值，當兩個函數取上N/下N個值，當在表中從當前行位置向前數N行已經超出了表的范圍時，LAG()函數將defval這個參數值作為函數的返回值，若沒有指定默認值，則返回NULL，那麼在數學運算中，總要給一個默認值才不會出錯。
執行sql:
以第一行為例：4.0上一條記錄（lag）是沒有的,所有有賦予默認值0，4.0的下一條記錄（lead）還是4.0,可以通過偏移量調整上下N條記錄
注意：這里是序號的上一條或下一條
4.頭尾函數：FIRST_VALUE(expr)、LAST_VALUE(expr)
用途：返回第一個(FIRST_VALUE(expr))或最後一個(LAST_VALUE(expr))expr的值
執行sql:
FIRST_VALUE()的結果容易理解，直接在結果的所有行記錄中輸出同一個滿足條件的首個記錄；
LAST_VALUE()默認統計范圍是 rows between unbounded preceding and current row，也就是取當前行數據與當前行之前的數據的比較。
那麼如果我們直接在每行數據中顯示最後的那個數據，需在order by 條件的後面加上語句： rows between unbounded preceding and unbounded following ， 也就是前面無界和後面無界之間的行比較。
加上語句，執行sql:
結果：
簡單理解就是，取最大的還是最小的結合ORDER BY使用，或者取第一個還是或者最後一個
參考： https://jiahao..com/s?id=1728966619393719484&wfr=spider&for=pc
『貳』 HiveSQL核心技能之窗口計算
目標：
1、掌握 sum()、avg()等用於累計計算的聚合函數，學會對行數的限制（移動計算）；
2、掌握 row_number(),rank()、dense_rank()用於排序的函數；
3、掌握 ntile()用於分組查詢的函數；
4、掌握 lag()、lead()偏移分析函數
窗口函數（window function）：
與聚合函數類似，但是窗口函數是每一行數據都生成一個結果，聚合函數可以將多行數據按照規定聚合為一行，一般來說聚合後的行數要少於聚合前的行數，但是有時我們想要既顯示聚合前的數據，又要顯示聚合後的數據，這時便引入了窗口函數， 窗口函數是在 select 時執行的，位於 order by 之前 。
在日常工作中，經常遇到 計算截止某月或某天的累計數值 ，在Excel可以通過函數來實現，
在HiveSQL里，可以利用窗口函數實現。
1）2018年每月的支付總額和當年累計支付總額
2）對2017年和2018年公司的支付總額按月度累計進行分析，按年度進行匯總
說明：1、over中的 partition by 起到分組的作用；
2、order by 按照什麼順序進行累加，升序ASC、降序DESC，默認升序
3、正確的分組是非常重要的，partition by 後面的欄位是需要累計計算的區域，需要仔細理解
（計算三日留存、七日留存、三十日留存等方式可以使用這個函數。）
3）對2018年每個月的近三個月進行移動的求平均支付金額
用法：這三個函數的作用都是返回相應規則的排序序號，由於排序函數不是二次聚合計算，因此不一定要使用子查詢
4）2019年1月，用戶購買商品品類數量的排名
5）選出2019年支付金額排名在第10、20、30名的用戶
6）將2019年1月的支付用戶，按照支付金額分成5組
7）選出2019年退款金額排名前10%的用戶
說明：Lag和Lead分析函數可以在同一次查詢中取出同一欄位的 前N行數據(Lag)和後N行的數據(Lead) 作為獨立的列。
在實際應用當中，若要用到取今天和昨天的某欄位差值時，Lag和Lead函數的應用就顯得尤為重要。
當然，這種操作可以用表的 自連接實現 ，但是Lag和Lead與 left join、 right join等自連接相比，效率更高，SQL語句更簡潔。
8）支付時間間隔超過100天的用戶數(這一次購買距離下一次購買的時間？，注意datediff函數是日期大的在前面)
9）每個城市，不同性別，2018年支付金額最高的TOP3用戶
步驟總結：
1、首先篩選出每個用戶和每個用戶總的消費金額；
2、對兩個表進行連接提取需要的欄位；
3、對連接後的表進行二次聚合計算，計算出不同城市、性別的金額排名；
4、對二次聚合計算的表進行條件篩選提取
10）每個手機品牌退款金額前25%的用戶
步驟總結：
1、首先篩選出每個用戶和每個用戶的總退款金額；
2、對兩個表進行連接提取需要的欄位；
3、對連接後的表進行按手機品牌內分組；
4、對分組後的表進行條件篩選提取
『叄』 SQL中的窗口函數總結
over() 窗口函數
語法結構：
partition by : 作用與group by 類似，實現分組功能
常與over一起使用的分析函數：
聚合函數：
avg()，sum()，max()，mean()
排名函數：
row_number() 產生不會重復的自增編號 （1，2，3，4，5，6.......)
rank()按照值排序的時候產生一個自增編號，值相等時會重復,有空位(eg:1,2,2,4,5,6,6,8...)
dense_rank()按照值排序的時候產生一個自增編號，值相等時會重復，無空位(1,2,2,2,3...)
其他函數：
lag()，lead()，ntile()
實例：
1.對所有員工的當前(to_date='9999-01-01')薪水按照salary進行按照1-N的排名，相同salary並列且按照emp_no升序排列
『肆』 SQL Server中的開窗函數是什麼
開窗函數（OVER子句）用於為行定義一個窗口（這里的窗口是指運算將要操作的行的集合），它對一組值進行操作，不需要使用GROUP BY子句對數據進行分組，能夠在同一行
中同時返回基礎行的列和聚合列。舉例來說，如果要得到一個年級所有班級所有學生的平均
分，按照傳統的寫法，肯定是通過AVG聚合函數來實現求平均分。由於聚合函數是以GROUP BY 查詢作為操作的上下文對一組值進行聚合，GROUP BY 操作對數據進行分組後，查詢
為每個組只返回一行數據，因此，我們不能同時返回基礎列（班級，學生等列），而只能得
到聚合列。
『伍』 MySQL中窗口函數的使用
MySQL的窗口函數最主要作用是對數據進行分組操作（可以進行分組排序，求TopN，移動平均，聚合計算等)，也就是相當於說在當前的詳細級別視圖里，對更低級別的數據進行計算呈現（可以與Tableau的表計算函數進行對比學習），比如說目前的表格是全國數據，但是要對不同省份的數據進行分組計算，這個時候使用窗口函數就會很方便。
在MySQL中，窗口函數要在8.0版本之後才能使用，如果是低版本的話，只能使用設置變數的方式完成以上內容的實現，設置變數在邏輯上會比窗口函數更加難以理解和使用，使用窗口函數可以大大的提高效率。
在很多SQL的教程中，說到窗口函數的時候，都只是說窗口函數的排序優勢而已，但是在實際工作中，其用處遠遠不止這些。
以下為窗口函數的情況：
『陸』 PostgreSQL 高級SQL(五) 內建窗口函數
前面倆個章節我們介紹了窗口函數、滑動窗口函數的概念，接下來我們介紹一下PG支持的原生通用窗口函數，總共11個(9.6版本, 中國社區官網文檔地址 ）
1、row_number 函數
row_number函數可以給每隔數據行返回一個虛擬的自增ID,也就是相當於給行分配一個編號，這些編號不會出現重復，即使over()裡面沒有按照欄位排序欄位也能正常工作，
2、rank函數
rank的官方解釋是：帶間隙的當前行排名； 與該行的第一個同等行的row_number相同
從上面的的結果我們可以看出 rank函數和row_number一樣可以將行編號，但是號碼可能重復，比如我們按照年份排序，年份相同的話rank值相同，2017年的數據rank直接跳到了7，這就相當於上學的時候考試，用rank計算排名的話，如果同年級出現三個並列的第一名的話，那麼計算的結果將是三個人的rank值都是第一，但是實際上的第二高的分數的同學會被rank排名為第四名，如果我們想第二高的分數的排名為2,我們可以使用dense_rank函數；
3、dense_rank函數
從上面的結果我們可以看出dense_rank函數會把編號弄得更加緊密，中間不會出現像rank那樣的斷層編碼。
4、percent_rank函數
官方文檔解釋： 當前行的相對排名=(rank- 1) / (總行數 - 1) ,
排名和rank值成正相關 ，rank值相同的行號 percent_rank獲取的結果也一樣，返回的 結果是個小數范圍在[0,1]之間 ，可以等於0或者1
5、cume_dist函數
官方文檔解釋： 當前行的相對排名=(rank- 1) / (總行數 - 1) ，
排名和rank值成正相關 ，rank值相同的行號 percent_rank獲取的結果也一樣，返回的 結果是個小數范圍在[0,1]之間 ，可以等於0或者1
6、ntile函數
官方文檔解釋：從1到參數值的整數范圍，盡可能等分分區，
ntile(num_buckets)，num_buckets的值表示將結果集分成num_buckets組，有限填滿前面的組，最後一組可能出現個數不足(非等分)情況，實際上就是把每隔行分個組號。
7、lag函數
官方文檔解釋：lag( value anyelement [, offset integer [, default anyelement ]])，返回 value ， 它在分區內當前行的之前 offset 個位置的行上計算；如果沒有這樣的行，返回 default 替代。 (作為 value 必須是相同類型)。 offset 和 default 都是根據當前行計算的結果。如果忽略它們，則 offset 默認是1， default 默認是空值
官方文檔的解釋很晦澀難懂，我們直接使用用例執行一下看一下數據分布就好了
從上圖可以知道當前行的lag值是當前行的前offset行的值，沒有的話就返回default,default不想存在的話就返回null,從數據姐過再去看官方文檔的解釋的話可能清晰很多，lag函數可以在結果集的行內移動，經常使用到的場景是計算今年和全年的年產量的差值，
8、lead函數
官方文檔解釋：lead( value anyelement [, offset integer [, default anyelement ]]) 返回 value ，它在分區內當前行的之後 offset 個位置的行上計算；如果沒有這樣的行，返回 default 替代。(作為 value 必須是相同類型)。 offset 和 default 都是根據當前行計算的結果。如果忽略它們，則 offset 默認是1， default 默認是空值
其實lead函數和lag函數的作用是相同的，如果lead的offset參數值為-N,那麼lag的offset的參數為N的話計算結果是相同的，lag(gdp,-1)是lead(gdp,1)的替代
9、first_value、last_value、nth_value函數較為簡單不做介紹
至此我們講完了幾乎所有的窗口函數，希望這五篇關於PostgreSQL的文章能對大家在平時的開發中有所幫助
『柒』 Hive sql及窗口函數
hive函數：
1、根據指定條件返回結果：case when then else end as
2、基本類型轉換：CAST（）
3、nvl：處理空欄位：三個str時，是否為空可以指定返回不同的值
4、sql通配符： https://www.w3school.com.cn/sql/sql_wildcards.asp
5、count(1)與COUNT(*)：返回行數
如果表沒有主鍵，那麼count（1）比count（*）快；
如果有主鍵，那麼count（主鍵，聯合主鍵）比count（*）快；
count(1)跟count(主鍵)一樣，只掃描主鍵。count(*)跟count(非主鍵)一樣，掃描整個表。明顯前者更快一些。
性能問題：
1.任何情況下SELECT COUNT(*) FROM tablename是最優選擇,(指沒有where的情況）；
2.盡量減少SELECT COUNT(*) FROM tablename WHERE COL = 『value』 這種查詢；
3.杜絕SELECT COUNT(COL) FROM tablename WHERE COL2 = 『value』 的出現。
count(expression)：查詢 is_reply=0 的數量： SELECT COUNT(IF(is_reply=0,1,NULL)) count FROM t_iov_help_feedback;
6、distinct與group by
distinct去重所有distinct之後所有的欄位，如果有一個欄位值不一致就不作為一條
group by是根據某一欄位分組，然後查詢出該條數據的所需欄位，可以搭配 where max(time)或者Row_Number函數使用，求出最大的一條數據
7、使用with 臨時表名 as() 的形式,簡單的臨時表直接嵌套進sql中，復雜的和需要復用的表寫到臨時表中，關聯的時候先找到關聯欄位，過濾條件最好在臨時表中先過濾後關聯
處理json的函數：
split(json_array_string(schools), '\\|\\|') AS schools
get_json_object(school, '$.id') AS school_id,
字元串函數：
1、instr（』源字元串』 , 『目標字元串』 ,』開始位置』,』第幾次出現』）
instr(sourceString,destString,start,appearPosition)
1.sourceString代表源字元串； destString代表要從源字元串中查找的子串；
2.start代表查找的開始位置，這個參數可選的，默認為1；
3.appearPosition代表想從源字元中查找出第幾次出現的destString，這個參數也是可選的， 默認為1
4.如果start的值為負數，則代表從右往左進行查找，但是位置數據仍然從左向右計算。
5.返回值為：查找到的字元串的位置。如果沒有查找到，返回0。
最簡單例子： 在abcd中查找a的位置，從第一個字母開始查，查找第一次出現時的位置
select instr(『abcd』,』a』,1,1) from al; —1
應用於模糊查詢：instr(欄位名/列名, 『查找欄位』)
select code,name,dept,occupation from staff where instr(code, 『001』)> 0;
等同於 select code, name, dept, occupation from staff where code like 『%001%』 ;
應用於判斷包含關系：
select ccn,mas_loc from mas_loc where instr(『FH,FHH,FHM』,ccn)>0;
等同於 select ccn,mas_loc from mas_loc where ccn in (『FH』,』FHH』,』FHM』);
2、substr（string A，int start，int len）和 substring（string A，int start，int len），用法一樣
substr(time,1,8) 表示將time從第1位開始截取，截取的長度為8位
第一種用法：
substr（string A，int start）和 substring（string A，int start），用法一樣
功效：返回字元串A從下標start位置到結尾的字元串
第二種用法：
substr（string A，int start，int len）和 substring（string A，int start，int len），用法一樣
功效：返回字元串A從下標start位置開始，長度為len的字元串
3、get_json_object(form_data,'$.學生姓名') as student_name
json_tuple 函數的作用：用來解析json字元串中的多個欄位
4、split(full_name, '\\.') [5] AS zq; 取的是數組里的第六個
日期(時間)函數：
1、to_date(event_time) 返回日期部分
2、date_sub：返回當前日期的相對時間
當前日期：select curdate()
當前日期前一天：select date_sub(curdate(),interval 1 day)
當前日期後一天：select date_sub(curdate(),interval -1 day)
date_sub(from_unixtime(unix_timestamp(), 'yyyy-MM-dd HH:mm:ss'), 14) 將現在的時間總秒數轉為標准格式時間，返回14天之前的時間
時間戳>>>>日期：
from_unixtime(unix_timestamp(), 'yyyy-MM-dd HH:mm:ss') 將現在的時間總秒數轉為標准格式時間
from_unixtime(get_json_object(get_json_object(form_data,'$.挽單時間'),'$.$date')/1000) as retain_time
unix_timestamp('2019-08-15 16:40:00','yyyy-MM-dd HH:mm:ss') --1565858400
日期>>>>時間戳：unix_timestamp()
date_format：yyyy-MM-dd HH:mm:ss 時間轉格式化時間
select date_format('2019-10-07 13:24:20', 'yyyyMMdd000000')-- 20191007000000select date_format('2019-10-07', 'yyyyMMdd000000')-- 20191007000000
1.日期比較函數: datediff語法: datediff(string enddate,string startdate)
返回值: int
說明: 返回結束日期減去開始日期的天數。
舉例： hive> select datediff('2016-12-30','2016-12-29'); 1
2.日期增加函數: date_add語法: date_add(string startdate, intdays)
返回值: string
說明: 返回開始日期startdate增加days天後的日期。
舉例： hive>select date_add('2016-12-29',10); 2017-01-08
3.日期減少函數: date_sub語法: date_sub (string startdate,int days)
返回值: string
說明: 返回開始日期startdate減少days天後的日期。
舉例： hive>select date_sub('2016-12-29',10); 2016-12-19
4.查詢近30天的數據
select * from table where datediff(current_timestamp,create_time)<=30；
create_time 為table里的欄位，current_timestamp 返回當前時間 2018-06-01 11:00:00
3、trunc()函數的用法：當前日期的各種第一天,或者對數字進行不四捨五入的截取
日期：
1.select trunc(sysdate) from al --2011-3-18 今天的日期為2011-3-18
2.select trunc(sysdate, 'mm') from al --2011-3-1 返回當月第一天.
上月1號 trunc(add_months(current_date(),-1),'MM')
3.select trunc(sysdate,'yy') from al --2011-1-1 返回當年第一天
4.select trunc(sysdate,'dd') from al --2011-3-18 返回當前年月日
5.select trunc(sysdate,'yyyy') from al --2011-1-1 返回當年第一天
6.select trunc(sysdate,'d') from al --2011-3-13 (星期天)返回當前星期的第一天
7.select trunc(sysdate, 'hh') from al --2011-3-18 14:00:00 當前時間為14:41
8.select trunc(sysdate, 'mi') from al --2011-3-18 14:41:00 TRUNC()函數沒有秒的精確
數字：TRUNC（number,num_digits） Number 需要截尾取整的數字。Num_digits 的默認值為 0。TRUNC()函數截取時不進行四捨五入
11.select trunc(123.458,1) from al --123.4
12.select trunc(123.458,-1) from al --120
4、round()：四捨五入：
select round(1.455, 2) #結果是：1.46，即四捨五入到十分位，也就是保留兩位小數
select round(1.5) #默認四捨五入到個位，結果是：2
select round(255, -1) #結果是：260，即四捨五入到十位，此時個位是5會進位
floor()：地板數
ceil()天花板數
5、
6.日期轉年函數: year語法: year(string date)
返回值: int
說明: 返回日期中的年。
舉例：
hive> select year('2011-12-08 10:03:01') from al;
2011
hive> select year('2012-12-08') fromal;
2012
7.日期轉月函數: month語法: month (string date)
返回值: int
說明: 返回日期中的月份。
舉例：
hive> select month('2011-12-08 10:03:01') from al;
12
hive> select month('2011-08-08') fromal;
8
8.日期轉天函數: day語法: day (string date)
返回值: int
說明: 返回日期中的天。
舉例：
hive> select day('2011-12-08 10:03:01') from al;
8
hive> select day('2011-12-24') fromal;
24
9.日期轉小時函數: hour語法: hour (string date)
返回值: int
說明: 返回日期中的小時。
舉例：
hive> select hour('2011-12-08 10:03:01') from al;
10
10.日期轉分鍾函數: minute語法: minute (string date)
返回值: int
說明: 返回日期中的分鍾。
舉例：
hive> select minute('2011-12-08 10:03:01') from al;
3
11.日期轉秒函數: second語法: second (string date)
返回值: int
說明: 返回日期中的秒。
舉例：
hive> select second('2011-12-08 10:03:01') from al;
1
12.日期轉周函數: weekofyear語法: weekofyear (string date)
返回值: int
說明: 返回日期在當前的周數。
舉例：
hive> select weekofyear('2011-12-08 10:03:01') from al;
49
查看hive表在hdfs中的位置：show create table 表名;
在hive中hive2hive，hive2hdfs：
HDFS、本地、hive -----> Hive：使用 insert into | overwrite、loaddata local inpath "" into table student;
Hive ----> Hdfs、本地：使用：insert overwrite | local
網站訪問量統計：
uv：每用戶訪問次數
ip：每ip(可能很多人)訪問次數
PV:是指頁面的瀏覽次數
VV:是指你訪問網站的次數
sql：
基本函數：
count、max、min、sum、avg、like、rlike（'2%'、'_2%'、%2%'、'[2]'）（java正則）
and、or、not、in
where、group by、having、{ join on 、full join} 、order by（desc降序）
sort by需要與distribut by集合結合使用：
hive (default)> set maprece.job.reces=3; //先設置rece的數量
insert overwrite local directory '/opt/mole/datas/distribute-by'
row format delimited fields terminated by '\t'
先按照部門編號分區，再按照員工編號降序排序。
select * from emp distribute by deptno sort by empno desc;
外部表 create external table if not exists dept
分區表：create table dept_partition ( deptno int, dname string, loc string ) partitioned by ( month string )
load data local inpath '/opt/mole/datas/dept.txt' into table default.dept_partition partition(month='201809');
alter table dept_partition add/drop partition(month='201805') ,partition(month='201804');
多分區聯合查詢：union
select * from dept_partition2 where month='201809' and day='10';
show partitions dept_partition;
desc formatted dept_partition;
二級分區表：create table dept_partition2 ( deptno int, dname string, loc string ) partitioned by (month string, day string) row format delimited fields terminated by '\t';
分桶抽樣查詢：分區針對的是數據的存儲路徑；分桶針對的是數據文件
create table stu_buck(id int, name string) clustered by(id) into 4 bucketsrow format delimited fields terminated by '\t';
設置開啟分桶與rece為1：
set hive.enforce.bucketing=true;
set maprece.job.reces=-1;
分桶抽樣：select * from stu_bucktablesample(bucket x out of y on id);
抽取，桶數/y，x是從哪個桶開始抽取，y越大 抽樣數越少，y與抽樣數成反比，x必須小於y
給空欄位賦值：
如果員工的comm為NULL，則用-1代替或用其他欄位代替 ：select nvl(comm,-1) from emp;
case when:如何符合記為1，用於統計、分組統計
select dept_id, sum(case sex when '男' then 1 else 0 end) man , sum(case sex when '女' then 1 else 0 end) woman from emp_sex group by dept_id;
用於組合歸類匯總(行轉列)：UDAF：多轉一
concat：拼接查詢結果
collect_set(col)：去重匯總，產生array類型欄位，類似於distinct
select t.base, concat_ws('|',collect_set(t.name)) from (select concat_ws(',',xingzuo,blood_type) base,name from person_info) t group by t.base;
解釋：先第一次查詢得到一張沒有按照（星座血型）分組的表，然後分組，使用collect_set將名字組合成數組，然後使用concat將數組變成字元串
用於拆分數據：(列轉行)：UDTF：一轉多
explode(col)：將hive一列中復雜的array或者map結構拆分成多行。
lateral view 側面顯示：用於和UDTF一對多函數搭配使用
用法：lateral view udtf(expression) tablealias as cate
cate：炸開之後的列別名
temptable ：臨時表表名
解釋：用於和split, explode等UDTF一起使用，它能夠將一列數據拆成多行數據，在此基礎上可以對拆分後的數據進行聚合。
開窗函數：
Row_Number,Rank，Dense_Rank over：針對統計查詢使用
Row_Number：返回從1開始的序列
Rank:生成分組中的排名序號，會在名詞s中留下空位。3 3 5
dense_rank：生成分組中的排名序號，不會在名詞中留下空位。3 3 4
over：主要是分組排序，搭配窗口函數使用
結果：
SUM、AVG、MIN、MAX、count
preceding：往前
following：往後
current row：當前行
unbounded：unbounded preceding 從前面的起點， unbounded following：到後面的終點
sum：直接使用sum是總的求和，結合over使用可統計至每一行的結果、總的結果、當前行+之前多少行/之後多少行、當前行到往後所有行的求和。
over(rowsbetween 3/current ) 當前行到往後所有行的求和
ntile：分片，結合over使用，可以給數據分片，返回分片號
使用場景：統計出排名前百分之或n分之一的數據。
lead,lag,FIRST_VALUE,LAST_VALUE
lag與lead函數可以返回上下行的數據
lead(col,n,dafault) 用於統計窗口內往下第n行值
第一個參數為列名，第二個參數為往下第n行（可選，默認為1），第三個參數為默認值（當往下第n行為NULL時候，取默認值，如不指定，則為NULL）
LAG(col,n,DEFAULT) 用於統計窗口內往上第n行值
第一個參數為列名，第二個參數為往上第n行（可選，默認為1），第三個參數為默認值（當往上第n行為NULL時候，取默認值，如不指定，則為NULL）
使用場景：通常用於統計某用戶在某個網頁上的停留時間
FIRST_VALUE:取分組內排序後，截止到當前行，第一個值
LAST_VALUE:取分組內排序後，截止到當前行,最後一個值
范圍內求和: https://blog.csdn.net/happyrocking/article/details/105369558
cume_dist，percent_rank
–CUME_DIST :小於等於當前值的 行數 / 分組內總行數
–比如，統計小於等於當前薪水的人數，占總人數的比例
percent_rank:分組內當前行的RANK值-1/分組內總行數-1
總結：
在Spark中使用spark sql與hql一致，也可以直接使用sparkAPI實現。
HiveSql窗口函數主要應用於求TopN，分組排序TopN、TopN求和，前多少名前百分之幾。
與Flink窗口函數不同。
Flink中的窗口是用於將無線數據流切分為有限塊處理的手段。
window分類：
CountWindow：按照指定的數據條數生成一個 Window，與時間無關。
TimeWindow：按照時間生成 Window。
1. 滾動窗口（Tumbling Windows）：時間對齊，窗口長度固定，不重疊：：常用於時間段內的聚合計算
2.滑動窗口（Sliding Windows）：時間對齊，窗口長度固定，可以有重疊：：適用於一段時間內的統計（某介面最近 5min 的失敗率來報警）
3. 會話窗口（Session Windows）無時間對齊，無長度，不重疊：：設置session間隔，超過時間間隔則窗口關閉。