A. spark 4040頁面 不能訪問。 如果使用的是spark-shell啟動寫程序，4040可以出
4040頁面只有在有spark 任務運行時才能訪問，你在任務訪問日誌里也能找到類似的語句，提交job後Spark-UI才會啟動。
當任務運行完了，立馬埠就釋放了。
所以建議你配置一下spark-history 頁面，運行完了可以查看已經finished的job，下面是簡單的配置步驟，具體的還請網路教程。
spark-default.conf中配置如下參數
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoopmaster:8020/user/spark_event_log
spark.history.fs.logDirectory hdfs://hadoopmaster:8020/user/spark_event_log
web ui http://sparkmaster:18080/
spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=7777 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://had
oop000:8020/directory"
參數描述：
spark.history.ui.port=7777調整WEBUI訪問的埠號為7777
spark.history.fs.logDirectory=hdfs://hadoop000:8020/directory配置了該屬性後，在start-history-server.sh時就無需再顯示的指定路徑
spark.history.retainedApplications=3 指定保存Application歷史記錄的個數，如果超過這個值，舊的應用程序信息將被刪除
啟動
cd $SPARK_HOME/sbin
start-history-server.sh
需要在啟動時指定目錄：
start-history-server.shhdfs://hadoop000:8020/directory
注意的是spark 程序中需要將sparkcontext stop 掉，否則即便是運行完畢，web頁面也只能顯示incompleted applications，而不是completed applications
B. spark master web ui 能看到些什麼信息
1.查看正在運行app的信息
訪問master WEB UI ： http://master:8080
然後點擊Running Applications 下Application ID或者Name查看信息
2.查看運行完成app的信息
按照上面在master WEB UI中的操作方法訪問
會產生報錯內容：
點擊(此處)折疊或打開
No event logs were found for this application! To enable event logging, set spark.eventLog.enabled to true and spark.eventLog.dir to the directory to which your event logs are written.
解決辦法：按照報錯內容
（1）在$SPARK_HOME/conf中的創建spark-defaults.conf
點擊(此處)折疊或打開
cp spark-defaults.conf.template spark-defaults.conf
然後在spark-defaults.conf中添加如下數據
點擊(此處)折疊或打開
spark.eventLog.enabled=true
spark.eventLog.dir=/tmp/
（2）切換到/tmp/目錄下，看有沒有spark-events文件夾
點擊(此處)折疊或打開
sudo mkdir spark-events
sudo chmod 777 spark-events
經過以上操作之後就可以像查看正在運行app一樣在web ui查看已完成app的執行過程的詳細信息
3.總結
（1）創建好事件的log信息，並設置好路徑，就可以通過spark的web driver來訪問已完成app的詳細信息
（2）注意在寫的spark python 程序結束時，執行sc.stop() 來完成app
（3）此方法使用在standalone mode下，若在其他模式下，可通過執行腳本$SPARK_HOME/sbin/start-history-server.sh 實現
4.參考鏈接：
http://apache-spark-user-list.1001560.n3.nabble.com/Spark-webUI-application-details-page-td3490.html
http://apache-spark-user-list.1001560.n3.nabble.com/Viewing-web-UI-after-fact-td12023.html
C. 大數據系統WebUI默認埠號速查
1、HDFS頁面：50070
2、YARN的管理界面：8088
3、HistoryServer的管理界面：19888
4、Zookeeper的服務埠號：2181
5、Mysql的服務埠號：3306
6、Hive.server1=10000
7、Kafka的服務埠號：9092
8、azkaban界面：8443
9、Hbase界面：16010,60010
10、Spark的界面：8080
11、Spark的URL：7077