‘壹’ 怎么开发一个基于spark sql的web实时查询web程序
Shark和sparkSQL 但是，随着Spark的发展，其中sparkSQL作为Spark生态的一员继续发展，而不再受限于hive，只是兼容hive；而hive on spark是一个hive的发展计划，该计划将spark作为hive的底层引擎之一
‘贰’ 怎么查看spark web监控页面
Spark的Web监控页面
在SparkContext中可以看到如下代码：
首先是创建一个Spark Application的Web监控实例对象：
然后bind方法会绑定一个web服务器：
可以看出我们使用Jetty服务器来监控程序的运行和显示Spark集群的信息的。
‘叁’ spark数据处理平台如何与javaweb系统整合
简单讲就是执行sparksql任务，用户在界面输入sql语句，执行查询，web项目通过调用spark集群执行计算，并返回数据，最后展示到页面上
‘肆’ spark 用什么web服务器
可以用全网数据中心的服务器，效果很好
‘伍’ javaweb怎么调用 spark集群
1、Spark脚本提交/运行/部署1.1spark-shell（交互窗口模式）运行Spark-shell需要指向申请资源的standalonespark集群信息，其参数为MASTER，还可以指定executor及driver的内存大小。sudospark-shell--executor-memory5g--driver-memory1g--masterspark://192.168.180.216:7077spark-shell启动完后，可以在交互窗口中输入Scala命令，进行操作，其中spark-shell已经默认生成sc对象，可以用：valuser_rdd1=sc.textFile(inputpath,10)读取数据资源等。1.2spark-shell（脚本运行模式）上面方法需要在交互窗口中一条一条的输入scala程序；将scala程序保存在test.scala文件中，可以通过以下命令一次运行该文件中的程序代码：sudospark-shell--executor-memory5g--driver-memory1g--masterspark//192.168.180.216:7077
‘陆’ spark master web ui 能看到些什么信息
1.查看正在运行app的信息
访问master WEB UI ： http://master:8080
然后点击Running Applications 下Application ID或者Name查看信息
2.查看运行完成app的信息
按照上面在master WEB UI中的操作方法访问
会产生报错内容：
点击(此处)折叠或打开
No event logs were found for this application! To enable event logging, set spark.eventLog.enabled to true and spark.eventLog.dir to the directory to which your event logs are written.
解决办法：按照报错内容
（1）在$SPARK_HOME/conf中的创建spark-defaults.conf
点击(此处)折叠或打开
cp spark-defaults.conf.template spark-defaults.conf
然后在spark-defaults.conf中添加如下数据
点击(此处)折叠或打开
spark.eventLog.enabled=true
spark.eventLog.dir=/tmp/
（2）切换到/tmp/目录下，看有没有spark-events文件夹
点击(此处)折叠或打开
sudo mkdir spark-events
sudo chmod 777 spark-events
经过以上操作之后就可以像查看正在运行app一样在web ui查看已完成app的执行过程的详细信息
3.总结
（1）创建好事件的log信息，并设置好路径，就可以通过spark的web driver来访问已完成app的详细信息
（2）注意在写的spark python 程序结束时，执行sc.stop() 来完成app
（3）此方法使用在standalone mode下，若在其他模式下，可通过执行脚本$SPARK_HOME/sbin/start-history-server.sh 实现
4.参考链接：
http://apache-spark-user-list.1001560.n3.nabble.com/Spark-webUI-application-details-page-td3490.html
http://apache-spark-user-list.1001560.n3.nabble.com/Viewing-web-UI-after-fact-td12023.html
‘柒’ Spark应用是用来做什么的
Spark因其自身优势，发展势头迅猛，目前几乎所有一站式大数据平台都已集成了Spark，很多行业也都正在用Spark来改善他们的业务，以下是Spark在一些行业的具体用途：
保险行业：通过使用Spark的机器学习功能来处理和分析所有索赔，优化索赔报销流程。
医疗保健：使用Spark Core，Streaming和SQL构建病人护理系统。
零售业：使用Spark分析销售点数据和优惠券使用情况。
互联网：使用Spark的ML功能来识别虚假的配置文件，并增强他们向客户展示的产品匹配。
银行业：使用机器学习模型来预测某些金融产品的零售的资料。
政府：分析地理，时间和财政支出。
科学研究：通过时间，深度，地理分析地震事件来预测未来的事件。
投资银行：分析日内股价以预测未来的价格走势。
地理空间分析：按时间和地理分析Uber旅行，以预测未来的需求和定价。
航空公司：建立预测航空旅行延误的模型。
设备：预测建筑物超过临界温度的可能性......
‘捌’ 如何杀死 spark on yarn 任务
这里是结合Hadoop2.0使用的1，download:根据的spark的README中的描述合适的版本3，安装其实就是解压，配置/etc/profile环境变量exportSPARK_HOME=/data1/spark/sparkexportSCALA_HOME=/data1/spark/scala-2.9.3exportPATH=$PATH:$SPARK_HOME/bin:$SCALA_HOME/bin配置spark的conf下的spark-env.shexportJAVA_HOME=/usr/java/defaultexportSCALA_HOME=/data1/spark/scala-2.9.3exportSPARK_MASTER_IP=192.168.0.1exportSPARK_MASTER_WEBUI_PORT=8080exportSPARK_WORKER_WEBUI_PORT=8000exportYARN_CONF_DIR=/data/hadoop/hadoop-2.0/etc/hadoop配置slaves(ip根据需要修改)192.168.0.2192.168.0.3分发spark目录和scala目录到几台服务器相同路径下4,启动进入主节点的spark目录的bin下stop-all.sh是停掉集群，start-all.sh启动集群，jps可以在主节点看到master进程，slave节点看到worker进程5，运行程序，运行例子进入spark目录下分布式运行./run-exampleorg.apache.spark.examples.SparkPispark://192.168.0.1:7077./run-exampleorg.apache.spark.examples.SparkLRspark://192.168.0.1:7077本地运行./run-exampleorg.apache.spark.examples.SparkPilocal./run-exampleorg.apache.spark.examples.SparkLRlocal
‘玖’ 如何配置spark web ui
if(ch=='Y'||ch=='y')
exit(0);
break;
default:
printf("\nError:Sorry,there is no this service now!\n");
break;
}
‘拾’ 怎么开发一个基于spark的web实时查询web程序
话说不需要吧，spark不是提供java的api吗，直接在web后台引入spark的包然后调用api就能提交东西吧 如果东西多本地放不下，在hdfs上的话，也可以调用得到的，没必要非得打成包。我说的不是本地模式，是吧本地也看成是一个节点，虽然没干过，不过本地压力应该不小。