① spark3.0.0版本中sparksql中创建dataframe和执行sql的入口是
在Spark SQL中SparkSession是创建DataFrame和执行SQL的入口，创建DataFrame有三种方式：通过Spark的数据源进行创建；从一个存在的RDD进行转换；还可以从Hive Table进行查询返回。
1）从Spark数据源进行创建
（1）查看Spark数据源进行创建的文件格式
scala> spark.read.
csv format jdbc json load option options orc parquet schema table text textFile
（2）读取json文件创建DataFrame
scala> val df = spark.read.json(“/opt/mole/spark/examples/src/main/resources/people.json”)
df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]
（3）展示结果
2）从RDD进行转换
3）从Hive Table进行查询返回。
② 想要学习大数据，应该怎么入门
记住学到这里可以作为你学大数据的一个节点。
Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。
Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。
Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。
Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。
③ 数据分析师应该学习哪些语言
1、R语言：免费、开源;专门为统计和数据分析而开发，基础安装也包含全面的统计功能和函数;数据可视化功能强大。
2、Python语言：是一门主流编程语言，有着广泛的在线支持;有诸如谷歌 Tensor flow 这样优秀的 package，使得机器学习框架都偏向于采用Python语言;易于学习，入门容易。
3、SQL语言：SQL 是一种数据库枣侍查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统，是最重要的关系数据库操作语言。
4、Java语言：Java 是静态面向对象编程语言的代表，具有面向对象、分布式、平台独立与可移植性、多线程、动态性等特点，目前由甲骨文公司提供技术支持。
5、Scala语言：一门多范式的编程语言，类似 Java，于 2004 年问世，设计初衷是实现可伸缩唯槐的语言，并集成面向对象编程和函数式编程的各种特性。
6、Julia语言：是一款刚出现没几年的面向科学指岩友计算的高性能动态高级程序设计语言。
④ spark sql多层json怎么查
spark sql多层json怎么查
Spark SQL是支持在Spark中使用Sql、HiveSql、Scala中的关系型查询表达式。它的...jsonRdd - 从一个已存在的RDD中加载数据,其中每一个RDD元素都是一个
⑤ spark SQL和hive到底什么关系
Hive是一种基于HDFS的数据仓库，并且提供了基于SQL模型的，针对存储了大数据的数据仓库，进行分布式交互查询的查询引擎。
SparkSQL并不能完全替代Hive，它替代的是Hive的查询引擎，SparkSQL由于其底层基于Spark自身的基于内存的特点，因此速度是Hive查询引擎的数倍以上，Spark本身是不提供存储的，所以不可能替代Hive作为数据仓库的这个功能。
SparkSQL相较于Hive的另外一个优点，是支持大量不同的数据源，包括hive、json、parquet、jdbc等等。SparkSQL由于身处Spark技术堆栈内，基于RDD来工作，因此可以与Spark的其他组件无缝整合使用，配合起来实现许多复杂的功能。比如SparkSQL支持可以直接针对hdfs文件执行sql语句。
⑥ Spark SQL到底支持什么SQL语句
试试看看spark\sql\catalyst\src\main\scala\org\apache\spark\sql\catalyst\SQLParser.scala
scala语言不是很容易懂，但是里面有解析SQL的方法，可以看出支持的SQL语句，至少关键词是很明确的。
protected val ALL = Keyword("ALL")
protected val AND = Keyword("AND")
protected val APPROXIMATE = Keyword("APPROXIMATE")
protected val AS = Keyword("AS")
protected val ASC = Keyword("ASC")
protected val BETWEEN = Keyword("BETWEEN")
protected val BY = Keyword("BY")
protected val CASE = Keyword("CASE")
protected val CAST = Keyword("CAST")
protected val DESC = Keyword("DESC")
protected val DISTINCT = Keyword("DISTINCT")
protected val ELSE = Keyword("ELSE")
protected val END = Keyword("END")
protected val EXCEPT = Keyword("EXCEPT")
protected val FALSE = Keyword("FALSE")
protected val FROM = Keyword("FROM")
protected val FULL = Keyword("FULL")
protected val GROUP = Keyword("GROUP")
protected val HAVING = Keyword("HAVING")
protected val IN = Keyword("IN")
protected val INNER = Keyword("INNER")
protected val INSERT = Keyword("INSERT")
protected val INTERSECT = Keyword("INTERSECT")
protected val INTO = Keyword("INTO")
protected val IS = Keyword("IS")
protected val JOIN = Keyword("JOIN")
protected val LEFT = Keyword("LEFT")
protected val LIKE = Keyword("LIKE")
protected val LIMIT = Keyword("LIMIT")
protected val NOT = Keyword("NOT")
protected val NULL = Keyword("NULL")
protected val ON = Keyword("ON")
protected val OR = Keyword("OR")
protected val ORDER = Keyword("ORDER")
protected val SORT = Keyword("SORT")
protected val OUTER = Keyword("OUTER")
protected val OVERWRITE = Keyword("OVERWRITE")
protected val REGEXP = Keyword("REGEXP")
protected val RIGHT = Keyword("RIGHT")
protected val RLIKE = Keyword("RLIKE")
protected val SELECT = Keyword("SELECT")
protected val SEMI = Keyword("SEMI")
protected val TABLE = Keyword("TABLE")
protected val THEN = Keyword("THEN")
protected val TRUE = Keyword("TRUE")
protected val UNION = Keyword("UNION")
protected val WHEN = Keyword("WHEN")
protected val WHERE = Keyword("WHERE")
protected val WITH = Keyword("WITH")
⑦ 对大数据的原理
大数据原理如下：
大数据平台运维：大数据平台的搭建和维护。对应技能：运维的一些技能，以及hadoop，hive等等。
数据开发：主要涉及到数据的抽取、转换、清洗，即：ETL。对应的技能：sql，hive，hadoop，shell，python(其他编程语言也行)、数据仓库的理论；其中数据轮液仓库的理论尤为重要，需要大量的实裤颂践和学习腊纯物才能建设良好的数据仓库模型，否则数据一团乱麻，很难找到自己想要的数据，也会出现这样的情况：天天疲于奔命，根据不同的需求，进行跑数据的操作。当然你如果想再接触的更深入一些，可以了解一下离线数据和实时数据开发(离线数据仓库、准实时数据仓库)。
数据平台开发：主要设计大数据平台的开发，为了数据开发的方便便捷自动化而存在的。对应的技能：java，scala，sql，大数据的一些开发平台(MR，Spark，Hbase等等)。
数据分析：主要是对大数据进行跑数据，做报表。对应技能：sql，excel，tableau，python，R等。数据分析岗位，我认识的很多女生从事该岗位，因为该岗位对于要求或许稍微低一些或者说入门简单一些。但是要想做好也不容易，如果做到自动化数据报表也是大家可以考虑的。
算法：主要是对算法模型进行应用，开发。对应的技能：算法基础，sql，python、数学理论。当然现在很多的开发工具包以及平台都提供很多算法，包括python，spark，因此需要我们掌握算法原理的情况和场景的情况下进行调用。加入大数据技术学习交流扣扣群：数字522数字189数字307，私信管理员即可免费领取开发工具以及入门学习资料
⑧ sparksql仅包含英文字母的数据
Spark SQL是铅悔一种用于处理大型数据集的分布式计算引擎，它可以处理各种数据源，包括英文字母。它可以提供高性能的SQL查询，以及丰富的数据挖掘功能，可以帮助用户快速解决复杂的数据分析问题。Spark SQL支持多种数据源，包括文件、数据库、NoSQL存储和流式数据处理系统。它可以支持多种数据格式，包括JSON、Parquet、Avro和ORC等。Spark SQL可以支持多种查询槐早正语言，包括SQL、HiveQL和Scala等，可以帮助用户快速构建复杂的数据睁伏分析应用程序。
⑨ scala sql中时间由string类型转换成date类型怎么做，
第一种做法：scala中的Date就是java的Date，所以java怎么做，scala就怎么做
importjava.text.SimpleDateFormat
valsdf=newSimpleDateFormat("yyyy-MM-ddH:mm:ss")
sdf.parse("2011-2-47:23:33")
第二种做法，大家现在比较流行使用JodaTime这个库来处理时间
importorg.joda.time._
importorg.joda.time.format._
DateTime.parse("2011-2-47:23:33",DateTimeFormat.forPattern("yyyy-MM-ddH:mm:ss"))
⑩ scala java.sql.connection在哪个包里
当然是在java.sql.connection包里啊