『壹』 怎麼開發一個基於spark sql的web實時查詢web程序
Shark和sparkSQL 但是，隨著Spark的發展，其中sparkSQL作為Spark生態的一員繼續發展，而不再受限於hive，只是兼容hive；而hive on spark是一個hive的發展計劃，該計劃將spark作為hive的底層引擎之一
『貳』 怎麼查看spark web監控頁面
Spark的Web監控頁面
在SparkContext中可以看到如下代碼：
首先是創建一個Spark Application的Web監控實例對象：
然後bind方法會綁定一個web伺服器：
可以看出我們使用Jetty伺服器來監控程序的運行和顯示Spark集群的信息的。
『叄』 spark數據處理平台如何與javaweb系統整合
簡單講就是執行sparksql任務，用戶在界面輸入sql語句，執行查詢，web項目通過調用spark集群執行計算，並返回數據，最後展示到頁面上
『肆』 spark 用什麼web伺服器
可以用全網數據中心的伺服器，效果很好
『伍』 javaweb怎麼調用 spark集群
1、Spark腳本提交/運行/部署1.1spark-shell（交互窗口模式）運行Spark-shell需要指向申請資源的standalonespark集群信息，其參數為MASTER，還可以指定executor及driver的內存大小。sudospark-shell--executor-memory5g--driver-memory1g--masterspark://192.168.180.216:7077spark-shell啟動完後，可以在交互窗口中輸入Scala命令，進行操作，其中spark-shell已經默認生成sc對象，可以用：valuser_rdd1=sc.textFile(inputpath,10)讀取數據資源等。1.2spark-shell（腳本運行模式）上面方法需要在交互窗口中一條一條的輸入scala程序；將scala程序保存在test.scala文件中，可以通過以下命令一次運行該文件中的程序代碼：sudospark-shell--executor-memory5g--driver-memory1g--masterspark//192.168.180.216:7077
『陸』 spark master web ui 能看到些什麼信息
1.查看正在運行app的信息
訪問master WEB UI ： http://master:8080
然後點擊Running Applications 下Application ID或者Name查看信息
2.查看運行完成app的信息
按照上面在master WEB UI中的操作方法訪問
會產生報錯內容：
點擊(此處)折疊或打開
No event logs were found for this application! To enable event logging, set spark.eventLog.enabled to true and spark.eventLog.dir to the directory to which your event logs are written.
解決辦法：按照報錯內容
（1）在$SPARK_HOME/conf中的創建spark-defaults.conf
點擊(此處)折疊或打開
cp spark-defaults.conf.template spark-defaults.conf
然後在spark-defaults.conf中添加如下數據
點擊(此處)折疊或打開
spark.eventLog.enabled=true
spark.eventLog.dir=/tmp/
（2）切換到/tmp/目錄下，看有沒有spark-events文件夾
點擊(此處)折疊或打開
sudo mkdir spark-events
sudo chmod 777 spark-events
經過以上操作之後就可以像查看正在運行app一樣在web ui查看已完成app的執行過程的詳細信息
3.總結
（1）創建好事件的log信息，並設置好路徑，就可以通過spark的web driver來訪問已完成app的詳細信息
（2）注意在寫的spark python 程序結束時，執行sc.stop() 來完成app
（3）此方法使用在standalone mode下，若在其他模式下，可通過執行腳本$SPARK_HOME/sbin/start-history-server.sh 實現
4.參考鏈接：
http://apache-spark-user-list.1001560.n3.nabble.com/Spark-webUI-application-details-page-td3490.html
http://apache-spark-user-list.1001560.n3.nabble.com/Viewing-web-UI-after-fact-td12023.html
『柒』 Spark應用是用來做什麼的
Spark因其自身優勢，發展勢頭迅猛，目前幾乎所有一站式大數據平台都已集成了Spark，很多行業也都正在用Spark來改善他們的業務，以下是Spark在一些行業的具體用途：
保險行業：通過使用Spark的機器學習功能來處理和分析所有索賠，優化索賠報銷流程。
醫療保健：使用Spark Core，Streaming和SQL構建病人護理系統。
零售業：使用Spark分析銷售點數據和優惠券使用情況。
互聯網：使用Spark的ML功能來識別虛假的配置文件，並增強他們向客戶展示的產品匹配。
銀行業：使用機器學習模型來預測某些金融產品的零售的資料。
政府：分析地理，時間和財政支出。
科學研究：通過時間，深度，地理分析地震事件來預測未來的事件。
投資銀行：分析日內股價以預測未來的價格走勢。
地理空間分析：按時間和地理分析Uber旅行，以預測未來的需求和定價。
航空公司：建立預測航空旅行延誤的模型。
設備：預測建築物超過臨界溫度的可能性......
『捌』 如何殺死 spark on yarn 任務
這里是結合Hadoop2.0使用的1，download:根據的spark的README中的描述合適的版本3，安裝其實就是解壓，配置/etc/profile環境變數exportSPARK_HOME=/data1/spark/sparkexportSCALA_HOME=/data1/spark/scala-2.9.3exportPATH=$PATH:$SPARK_HOME/bin:$SCALA_HOME/bin配置spark的conf下的spark-env.shexportJAVA_HOME=/usr/java/defaultexportSCALA_HOME=/data1/spark/scala-2.9.3exportSPARK_MASTER_IP=192.168.0.1exportSPARK_MASTER_WEBUI_PORT=8080exportSPARK_WORKER_WEBUI_PORT=8000exportYARN_CONF_DIR=/data/hadoop/hadoop-2.0/etc/hadoop配置slaves(ip根據需要修改)192.168.0.2192.168.0.3分發spark目錄和scala目錄到幾台伺服器相同路徑下4,啟動進入主節點的spark目錄的bin下stop-all.sh是停掉集群，start-all.sh啟動集群，jps可以在主節點看到master進程，slave節點看到worker進程5，運行程序，運行例子進入spark目錄下分布式運行./run-exampleorg.apache.spark.examples.SparkPispark://192.168.0.1:7077./run-exampleorg.apache.spark.examples.SparkLRspark://192.168.0.1:7077本地運行./run-exampleorg.apache.spark.examples.SparkPilocal./run-exampleorg.apache.spark.examples.SparkLRlocal
『玖』 如何配置spark web ui
if(ch=='Y'||ch=='y')
exit(0);
break;
default:
printf("\nError:Sorry,there is no this service now!\n");
break;
}
『拾』 怎麼開發一個基於spark的web實時查詢web程序
話說不需要吧，spark不是提供java的api嗎，直接在web後台引入spark的包然後調用api就能提交東西吧 如果東西多本地放不下，在hdfs上的話，也可以調用得到的，沒必要非得打成包。我說的不是本地模式，是吧本地也看成是一個節點，雖然沒干過，不過本地壓力應該不小。