A. spark数据处理平台如何与javaweb系统整合
简单讲就是执行sparksql任务，用户在界面输入sql语句，执行查询，web项目通过调用spark集群执行计算，并返回数据，最后展示到页面上
B. javaweb怎么调用 spark集群
1、Spark脚本提交/运行/部署1.1spark-shell（交互窗口模式）运行Spark-shell需要指向申请资源的standalonespark集群信息，其参数为MASTER，还可以指定executor及driver的内存大小。sudospark-shell--executor-memory5g--driver-memory1g--masterspark://192.168.180.216:7077spark-shell启动完后，可以在交互窗口中输入Scala命令，进行操作，其中spark-shell已经默认生成sc对象，可以用：valuser_rdd1=sc.textFile(inputpath,10)读取数据资源等。1.2spark-shell（脚本运行模式）上面方法需要在交互窗口中一条一条的输入scala程序；将scala程序保存在test.scala文件中，可以通过以下命令一次运行该文件中的程序代码：sudospark-shell--executor-memory5g--driver-memory1g--masterspark//192.168.180.216:7077
C. Spark 中用 Scala 和 java 开发有什么区别
Scala到底是什么?在目前众多的JVM语言当中，Scala无疑是最引人注意的语言之一。Scala是一个静态语言，更适合大型工程项目，Scala直接编译成Java字节码，性能接近Java。Scala是一个多范式的语言，你可以混合使用函数式和面向对象编程，混合使用可变类和不变类，混合使用Actor和传统的Java并发库。
短短一个月的时间，Scala于本月冲进了TIOBE的前五十名。一个 Twitter 的开发人员说过，Scala 将会成为现代 Web2.0 的发起语言。LinkedIn 也用这种语言。同样许多其他大的公司如 Sony Picture, EDF, SAP 也开始使用这种语言。为什么Scala发展这么迅猛，可以获得如此热烈的社区支持。
曾冠东还表示，Scala不是Java的杀手，它无法取代Java的地位，也突破不了JVM的限制、Java实现不了的功能它也实现不了。我们可以将Scala形象的理解成大量语法糖的Java。
Scala 开发团队发布了最新的2.9.2稳定版本，Scala 语言的特性有许多，例如高阶函数和对象、抽象类型绑定，actor 使得函数在 Scala 中能是一个子类成为可能，Scala 中的设计模式使得面向对象和函数编程无缝结合。Akka 是一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。它已经成功运用在电信行业。Spark 是一种可扩展的数据分析平台，它整合了内存计算的基元，因此，相对于 Hadoop 的集群存储方法，它在性能方面更具优势。Spark 是在 Scala 语言中实现的，并且利用了该语言，为数据处理提供了独一无二的环境。Scala 编译器可以生成字节码，直接运行在使用JVM上。该语言(它实际上代表了可扩展语言)被定义为可直接集成到语言中的简单扩展。
Scala作为一门静态语言，它的主要特性有哪些?
· Scala是面向对象的
Scala是一个纯面向对象语言，在某种意义上来讲所有数值都是对象。对象的类型和行为是由class和trait来描述的。Class的抽象可由子类化和一种灵活的基于mixin的组合机制(它可作为多重继承的简单替代方案)来扩展。
· Scala是函数式的
Scala还是一个函数式语言，在某种意义上来讲所有函数都是数值。Scala为定义匿名函数提供了一种轻量级的语法，它支持高阶(higher-order)函数、允许函数嵌套、支持局部套用(currying)。Scala的case类及其内置支持的模式匹配模型代数类型在许多函数式编程语言中都被使用。
· Scala是静态类型的
Scala配备了一套富有表现力的类型系统，该抽象概念以一种安全的和一致的方式被使用。
· Scala是可扩展的
Scala的设计承认了实践事实，领域特定应用开发通常需要领域特定语言扩展。Scala提供了一个独特的语言组合机制，这可以更加容易地以类库的形式增加新的语言结构：
任何方式可以被用作中缀(infix)或后缀(postfix)操作符闭包按照所期望的类型(目标类型)自动地被构造
两者结合使用可方便地定义新语句，无需扩展语法，也无需使用类似宏的元编程工具。
· Scala可与Java和.NET进行互操作
Scala设计时就考虑了与流行编程环境良好交互，如Java 2运行时环境(JRE)和 .NET框架(CLR)。特别是与主流面向对象语言，如Java和C#尽量无缝交互。Scala有像Java和C#一样的编译模型(独立编译，动态装载类)，允许访问成千上万的高质量类库。
在并发性方面，与 Scala 在 .NET 领域中的姐妹语言 F# 相似，Scala 是针对 “并发性问题” 的解决方案之一，让开发人员能够更加轻松地专注于问题的实质，而不用考虑并发编程的低级细节。Actor 编程模式让高度并行应用程序的开发更加简单。Scala把Erlang风格的基于actor的并发带进了JVM。我们可以利用Scala的actor模型在JVM上设计具伸缩性的并发应用程序，以自动获得多核心处理器带来的优势，而不必依照复杂的Java线程模型来编写程序。Scala 为并发性提供了两种级别的支持，这与其他与 Java 相关的主题极为类似：
首先，对底层库的完全访问(比如说 java.util.concurrent)以及对 “传统” Java 并发性语义的支持(比如说监控程序和wait()/notifyAll())。其次，这些基本机制上面有一个抽象层
Scala 提供了在稳定的高性能平台(Java 虚拟机)上生成的能力同时也是一门敏捷性语言。这一类型的语言也有其他的选择，例如 Jython, JRuby, Groovy 和 Clojure, 但是这些都是运行在 JVM 上的动态类型语言。Open Class 的效果让大家会觉得Scala是动态语言，但它是选择隐式转换来实现的，这也正好证明了Scala是静态语言。隐式转换(Implicit conversion)使 Scala 具有类型安全性，正如扩展方法(extension method)之于 C#，开放类(open class)之于 ruby。即：向未曾定义的类型添加方法(如字符串、列表、整数)。这是使得 Scala 符合 DSL(特定领域语言)模型的特性之一。
Scala结合了面向对象和函数编程的优势，函数编程的一个好处就是你能够像运用一个数据那样运用函数，可以用来定义真正高层级的库，或者去定义新的领域特殊语言(DSL)。
在谈及Java与Scala的对比时，曾冠东表示，Scala能调用绝大部分的Java，而Java调用Scala独有的东西会比较难。Java 拥有非常强的概念规范，因此任何一个 Java 程序之间具有非常多的相似之处，并且这样能够方便的进行程序员交替。但是 Scala 并没有这样的统一性，因为这是一门很有表现力的语言。现场曾冠东为我们演示了实际案例，如下图所示：
正所谓，金无足赤，人无完人。Scala对二进制不兼容，语法也越来越复杂，不能突破Bytecode的限制、编译速度有所缓慢。当它被广泛用于单元测试、开发工具、Socket开发、以及面对多核挑战的并发应用。总而言之，Scala是一种函数式面向对象语言，它融汇了许多前所未有的特性，而同时又运行于JVM之上。正如JRuby 创建者之一Charles Nutter 所宣称的那样Scala就是 Java 王位的合法继承人。随着开发者对Scala的兴趣日增，以及越来越多的工具支持，无疑Scala语言将成为广大软件工程师手上一件必不可少的工具。
D. java web如何去调用一个spark程序
java web如何去调用一个spark程序
{;{voidonArticleSelected(intposition);}@OverridepublicvoidonCreate(BundlesavedInstanceState){super.onCreate(savedInstanceState);setListAdapter(newArrayAdapter<String>(getActivity(),R.layout.fragment_list,Ipsum.Headlines));}@OverridepublicvoidonAttach(Activityactivity){super.onAttach(activity);mCallback=(OnHeadlineSelectedListener)activity;}@(ListViewl,Viewv,intposition,longid){mCallback.onArticleSelected(position);getListView().setItemChecked(position,true);}}
E. spark可以用java开发吗
Spark Framework - A tiny Java web framework
当然可以使用Java开发了
F. Java中常用的开发工具有哪些
常用的工具有：
Eclipse 据数据显示很多Java开发人员的Java开发工具便是Eclipse，这主要得益于Eclipse是一个开源的、可以基于Java的可扩展开发平台。Eclipse本身而言，它只是一个框架和一组服务，但可以通过插件组件构建开发环境。
editplus EditPlus是一款由韩国 Sangil Kim （ES-Computing）开发的编辑器，可以作为C,Java,Php等等语言的一个简单的IDE。EditPlus拥有无限制的撤消与重做、英文拼字检查、自动换行、列数标记、搜寻取代、同时编辑多文件、全屏幕浏览功能，也是一款常见的Java开发工具。
NetBeans NetBeans提供了功能全面的阵列，如转换器，编辑器和代码分析器，使用这些工具可以帮助我们使用的Java技术实现应用程序。NetBeans工具范围相当广泛，是一款的Java开发工具。
Junit Junit是一个可以帮助Java开发人员编写和运行测试的单元测试框架。JUnit和市场上其他类似的框架有着本质的区别。主要表现在你可以一次测试一个代码块，而不需要等待该模块在运行测试前完成。实际上是你可以“先测试，然后写代码”
VisualVM VisualVM也是一款使用较多的Java开发工具。它最主要的功能便是可以排查故障，可以使用VisualVM整合多命令行JDK工具。如jvmstat、JMX和Serviceability Agent（SA）中使用VisualVM。VisualVM最出名的是附加了API，以获得更多的数据，以及自动使用更快捷。
Gradle Gradle是一个自动化项目工具，是建立在Apache Maven和Apache Ant的功能上。虽然Gradle并不是的构建工具（的是Maven，64％的Java开发人员会选择它），但它的普及速度很快。它同时也可作为默认的Android构建开发工具。
SparkJava SparkJava是一款体形轻巧，功能强大的Web应用框架。Spark可以通过一些繁琐的XML配置来使用Spark框架编写应用程序。能让我们花最少的精力来开发Java的Web应用程序。是一款的Java web开发工具。
Clover Clover主要用于代码覆盖，可以帮助用于测试应用程序的代码。我们可以在IDE或持续集成系统中运行Clover。能够让测试的运行速度更快。是Java开发测试必不可少的工具之一。
G. 如何用java代码替代spark-submit脚本
例子：在开发web项目结合spark云平台时遇到一个难题，当一个类继承了ActionSupport成为一个action后，在它的method（）中不能调用spark程序（会报找不到spark jar包的错误，不知道怎么解决）。
解决方案：把spark程序打包成jar文件，写一个脚本，在action的method（）中调用这个脚本，运用spark-submit启动spark程序。
脚本代码 ，CRS.sh ：
/usr/local/spark/spark-1.0.0-bin-hadoop1/bin/spark-submit \
--class ar.runCourseCF \
--master local[4] \
/root/IdeaProjects/HelloWorld/web/WEB-INF/lib/test.jar
struts2 的 action类：
public class recommendationAction extends ActionSupport
implements ModelDriven<RecommendationArguments> {
private RecommendationArguments recommendation = new RecommendationArguments();
public String execute() throws Exception
{
//脚本路径
String shellPath = "/root/IdeaProjects/HelloWorld/src/CRS.sh";
System.out.println(shellPath);
ShellUtil shell = new ShellUtil();
shell.runShell(shellPath);
return SUCCESS;
}
public RecommendationArguments getModel()
{
return recommendation;
}
}
java运行脚本的代码：
public class ShellUtil {
public void runShell(String shellPath)
{
//String shellPath="/root/IdeaProjects/CRS.sh"; //程序路径
try {
Process process = null;
//添加权限
String command1 = "chmod 777 " + shellPath;
process = Runtime.getRuntime().exec(command1);
process.waitFor();
//用sh CRS.sh执行脚本
String command2 = "sh " + shellPath;
Runtime.getRuntime().exec(command2).waitFor();
}catch(Exception e)
{
System.out.println(e.toString());
http://www..com/s?wd=52014085078
H. 科普Spark，Spark是什么，如何使用Spark
科普Spark，Spark是什么，如何使用Spark
1.Spark基于什么算法的分布式计算（很简单）
2.Spark与MapRece不同在什么地方
3.Spark为什么比Hadoop灵活
4.Spark局限是什么
5.什么情况下适合使用Spark
Spark与Hadoop的对比
Spark的中间数据放到内存中，对于迭代运算效率更高。
Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面，有RDD的抽象概念。
Spark比Hadoop更通用
Spark提供的数据集操作类型有很多种，不像Hadoop只提供了Map和Rece两种操作。比如map, filter, flatMap, sample, groupByKey, receByKey, union, join, cogroup, mapValues, sort,partionBy等多种操作类型，Spark把这些操作称为Transformations。同时还提供Count, collect, rece, lookup, save等多种actions操作。
这些多种多样的数据集操作类型，给给开发上层应用的用户提供了方便。各个处理节点之间的通信模型不再像Hadoop那样就是唯一的Data Shuffle一种模式。用户可以命名，物化，控制中间结果的存储、分区等。可以说编程模型比Hadoop更灵活。
不过由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。
容错性
在分布式数据集计算时通过checkpoint来实现容错，而checkpoint有两种方式，一个是checkpoint data，一个是logging the updates。用户可以控制采用哪种方式来实现容错。
可用性
Spark通过提供丰富的Scala, Java，Python API及交互式Shell来提高可用性。
Spark与Hadoop的结合
Spark可以直接对HDFS进行数据的读写，同样支持Spark on YARN。Spark可以与MapRece运行于同集群中，共享存储资源与计算，数据仓库Shark实现上借用Hive，几乎与Hive完全兼容。
Spark的适用场景
Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小（大数据库架构中这是是否考虑使用Spark的重要因素）
由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。总的来说Spark的适用面比较广泛且比较通用。
运行模式
本地模式
Standalone模式
Mesoes模式
yarn模式
Spark生态系统
Shark ( Hive on Spark): Shark基本上就是在Spark的框架基础上提供和Hive一样的H iveQL命令接口，为了最大程度的保持和Hive的兼容性，Shark使用了Hive的API来实现query Parsing和 Logic Plan generation，最后的PhysicalPlan execution阶段用Spark代替Hadoop MapRece。通过配置Shark参数，Shark可以自动在内存中缓存特定的RDD，实现数据重用，进而加快特定数据集的检索。同时，Shark通过UDF用户自定义函数实现特定的数据分析学习算法，使得SQL数据查询和运算分析能结合在一起，最大化RDD的重复使用。
Spark streaming: 构建在Spark上处理Stream数据的框架，基本的原理是将Stream数据分成小的时间片断（几秒），以类似batch批量处理的方式来处理这小部分数据。Spark Streaming构建在Spark上，一方面是因为Spark的低延迟执行引擎（100ms+）可以用于实时计算，另一方面相比基于Record的其它处理框架（如Storm），RDD数据集更容易做高效的容错处理。此外小批量处理的方式使得它可以同时兼容批量和实时数据处理的逻辑和算法。方便了一些需要历史数据和实时数据联合分析的特定应用场合。
Bagel: Pregel on Spark，可以用Spark进行图计算，这是个非常有用的小项目。Bagel自带了一个例子，实现了Google的PageRank算法。
End.
I. 怎么开发一个基于spark的web实时查询web程序
话说不需要吧，spark不是提供java的api吗，直接在web后台引入spark的包然后调用api就能提交东西吧 如果东西多本地放不下，在hdfs上的话，也可以调用得到的，没必要非得打成包。我说的不是本地模式，是吧本地也看成是一个节点，虽然没干过，不过本地压力应该不小。