㈠ java培养训练主要培养训练啥
主要培养训练什么？你是不是想问，java培养训练都是要学哪些知识点？
下面就来看一下动力节点所需要学习哪些知识点洞枝：
第一阶段：JavaSE基础，一定要把基础打好了，当前的知乎才干学的更彻底。JavaSE基础包括：Java开发环境搭建、Java基础语法、Java面向对象。1、Java开发环境搭建：Java顺序的加载与执行；类加载器机制；Java8的下载与装置；path和classpath环境变量；第一个Java顺序的编写；Java中的注释；public class和class的区别；2、Java基础语法：标识符；关键字；字面量；数据类型；字符编码；进制换算；变量；运算符；控制语句 ；办法；办法重载；办法执行的内存剖析；递归算法；3、Java面向对象：面向进程和面向对象的区别、类和对象、this、super、JVM运转内存分析、成员变量 和部分变量、隐藏和封装、深化结构器、类的承继、办法重写、多态、承继与组合、初 始化块、处置对象、类成员、final 修饰符、笼统类、接口及作用、外部类、枚举类、 对象与渣滓回收、修饰符的适用范围、运用Jar文件、外部类
第二阶段：环境搭建、基础语法、面向对象中心、异常、数组、常用类、集合、线程、IO流、反射机制、网络编程。1、异常：异常承继构造图、捕获异常、声明异常、异常与办法重写、自定义异常、手动抛出异常 、Java7多异常捕捉、 拜访异常信息、 运用finally回收资源、 异常处置的嵌套、Java 7自动封闭资源、catch 和 throw 同时运用、Java7加强的throw 语句、异常链追踪 信息。2、数组/算法：数组存储构造、数组优缺陷、一维数组、二维数组、多维数组、冒泡排序、选择排序、 二分法查找、工具类Arrays、二维数组完成酒店管理系统、数组拷贝、main办法的 args参数解析、数组扩容。3、常用类：字符串相关String、StringBuffer、StringBuilder；八种根本数据类型对应的包装类 ；日期处置相关；数字处置相关；枚举类型；4、集合/数据构造：Collection和Map集合承继构造图；Collections工具类；Iterator迭代集合；Array List、LinkedList、Vector集适宜用场景剖析以及Vector运用较少的缘由；数组、单 向链表、双向链表数据构造；各种集合源码级剖析；哈希表散列表数据构造；Hashtab le以及Properties属性类详解；SorteMap、TreeSet、TreeMap集合排序机制；红 黑树；5、IO流：迅雷下载演示流的原理；流的分类；装饰器设计形式；IO流体系承继构造；文件字节/字 符输出输入流；带有缓冲区的字节/字符输出输入流；对象流、序列化和反序列化；规范 输入流、改动规范输入流的输入方向；数据流型巧；文件File类以及递归算法复制目录；zip 紧缩技术；6、线程线程和进程；线程生命周期；线程调度；线程同步7、反射机制获取Class的方式；读取配置文件中的类名来实例化对象；经过反射操作Field、Metho d、Constructor；经过反射机制调用Method；经过反射获取父类型；8、网络编程IP地址以及端口号的作用；TCP/IP协议；UrlDecoder和UrlEncoder；Socket编程基 础；UDP协议以及多点播送；9、注解Annotation注解和配置文件的区别；Java自带注解；自定义注解；经过反射机制读取注解；10、Mysql初级MySQL的装置与配置；常用命令；复杂纳租敏查询；要求查询；排序；数据处置函数；分组函 数；分组查询；衔接查询；子查询；union；limit；表的创立；增删改表构造；约束； 存储引擎；事务；索引；视图；DBA命令；数据库设计三范式；MySQL存储进程；11、JDBCJDBC实质；JDBC开发前预备职业；编程六步；采用Class.forName方式注册驱动以 及注册原理；SQL注入；避免SQL注入；Statement和PreparedStatment比对； JDBC事务；JDBC行级锁；JDBC完成银行账户转账。
第三阶段：1、HTML/HTML5HTML根本构造、HTML表格、HTML超链接、HTML图片、HTML背景图片和背风光、 HTML字体、HTML列表、HTML根本标签、HTML格式标签、HTML实体符号、HTML 表单、HTML向服务器发送恳求的多种方式、HTML DOM、HTML节点id属性、div和 span规划、HTML框架。2、CSS/CSS3标签选择器、ID选择器、类选择器、CSS高级语法、派生选择器、属性选择器、CSS常 用款式、CSS框模型、CSS定位3、JavaScriptJavaScript中心语法；JavaScript DOM编程；JavaScript BOM编程；JavaScript 承继；JavaScript闭包；手动开发jQuery框架；4、jQueryjQuery九大选择器；增删改节点；款式操作；属性操作；事情操作；5、Bootstrap下拉菜单、按钮组、按钮式下拉菜单,输出框组、面板和Well、正告框、进度条和列表 组件、导航和导航条Bootstrap媒体对象、栅格系统6、XML+XPathXML是什么；开发中主要用XML干什么；XML和HTML的区别与联络；XML/DTD/XS D/XSL关系；XML的SAX解析和DOM解析；Java解析XML；dom4j解析XML；XML +XPath解析XML文件；7、ServletServlet/GenericServlet/HttpServlet；Servlet生命周期；Http协议分析；GET和 POST区别；转发和重定向；Cookie；Session；Servlet标准中常用接口的解说；8、JspJsp实质；Jsp和Servlet区别以及职责；小脚本；声明；表达式；举措；九大内置对象9、EL经过EL表达式从作用域中取数据；EL的隐含对象；从数组、List、Map中取数据；EL常 用运算符；10、JSTL中心标签core的运用；JSTL的完成原理；自定义标签；
第四阶段：1、Filter完成Filter过滤器、Filter中办法分析、Gof设计形式之责任链设计形式、分析Tomcat 服务器源码检查Filter调用进程、字符编码过滤器完成、web站点登录阻拦过滤器完成 、web站点ip地址过滤器完成、AOP编程思想、Filter生命周期、FilterConfig详解2、Listener怎么完成一个Listener监听器、ServletContextListener详解、SessionListener详 解、Session对象销毁时完成购物车耐久化操作、Gof设计形式之监听器形式、服务器 启动时监听器初始化资源、服务器封闭时监听器回收资源3、Servlet3.0@WebServlet、@WebInitParam、@WebFilter、@WebListener、 @MultipartConfig、异步处置支持、可插性加强、ServletContext功能加强、 HttpServletRequest对文件上传的支持4、AJAXajax发送get/post恳求、eval函数、json处置、中文乱码处理方案、ajax中心对象创 建、注册回调函数、回调函数详解、readyState属性详解、status属性详解、 responseText属性详解、ajax完成自动补全功用、下拉列表联动效果、表单验证效果5、MVC系统职能分工、MVC架构形式优点、开发准绳：高内聚、低耦合。组件独立性/复用性、 Model数据：业务数据剖析service、数据库数据剖析。View视图：JSP、 Freemarker等。Controller控制器：完成调度，管理Model与View。MVC表现了 Gof设计形式之监听形式6、ThreadLocal系统职能分工、MVC架构形式优点、开发准绳：高内聚、低耦合。组件独立性/复用性、 Model数据：业务数据剖析service、数据库数据剖析。View视图：JSP、 Freemarker等。Controller控制器：完成调度，管理Model与View。MVC表现了 Gof设计形式之监听形式7、Gof之代理形式静态代理形式；JDK自带的静态代理；CGLIB代理；静态代理方式控制事务；8、衔接池/C3P0/DBCP/Druid衔接池完成原理；常用衔接池C3P0/DBCP的运用；阿里巴巴的Druid衔接池；9、JNDIJava Naming and Directory Interface，SUN公司提供的一种规范的Java命名系统 接口；JNDI和衔接池结合运用；10、Gof之工厂形式工厂形式的适用场所、复杂工厂形式、工厂办法形式、笼统工厂形式11、MySQL高级事务、隔离级别、隔离级别与分歧性成绩的关系、并发事务与隔离级别示例、MySQL架 构组成，MySQL备份和恢复，MySQL查询和索引优化、MySQL存储引擎优化， MySQL锁机制优化及高可用设计、MySQL集群、视图、DBA命令、导入导出12、OracleOracle的装置、服务的启动和封闭、监听器、网络服务名、VARCHAR2、sequence、 rowid、rownum、通用的分页SQL、Oracle索引完成原理分析、数据库平安管理、表 空间、系统表、PLSQL Developer客户端工具的运用13、PL/SQLPL/ SQL 字符集、 PL/ SQL 块、 PL/ SQL 高级编程、用 PL/ SQL 顺序拜访数据库、 声明和运用子顺序、进程和函数、记载类型、％type和％rowtype属性、游标、集合、 异常处置、 PL/SQL 顺序类型（包括：匿名 PL/SQL 块、存储进程和函数、删除存储过 程和函数 ） 、触发器14、SQL优化什么是执行策划、SQL语句能否清楚的告知查询优化器它想干什么、索引查找和全表扫 描、一致SQL语句写法、不要把SQL语句编写的太复杂、明晰SQL语句执行顺序、运用 暂时表暂存中间后果、一些SQL查询语句添加nolock、运用like停止模糊查询应留意什 么、数据类型的隐式转换对查询效率的影响、尽量防止大事务操作，进步系统并发才能15、MyBatisMyBatis完成原理、MyBatis入门、装置和配置MyBatis、运用映射语句、执行非查询 语句、运用高级查询技术、事务、运用静态SQL、运用高速缓存进步功能、MyBatis数 据拜访对象、DAO运用进阶。
当然，这些知识点一定是不片面的，假如你想理解详细的话你可以去动力节点实地去看一下，最近他们仿佛有一个java实验班可以收费的协助本人测验适不合适学习java而且还可以报销路费以及住宿费，假如你有时刻可以去理解一下。
㈡ 大数据培训到底是培训什么
一、基础部分：JAVA语言 和 LINUX系统
二、数据开发:
1、数据分析与挖掘
一般工作包括数据清洗，执行分析和数据可视化。学习Python、数据库、网络爬虫、数据分析与处理等。
大数据培训一般是指大数据开发培训。
大数据技术庞大复杂，基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。
2、大数据开发
数据工程师建设和优化系统。学习hadoop、spark、storm、超大集群调优、机器学习、Docker容器引擎、ElasticSearch、并发编程等；
课程学习一共分为六个阶段：
7
㈢ 吉林网络运维学习都需要会什么没基础可以吗
网络运维相对软件开发来说要简单很多，没有基础是可以学习的，
单纯的学习运维，找公司的难度要大很多，建议进行系统的学习，
阶段一：Linux 与网络基础（116 课时）
模块：零基础体验、网络基础、Linux 系统管理、Linux 网络服务
1. PC 服务器与 Linux 初体验（线上&串讲）
2. PC 服务器安装 Linux 实战（线上）
3. 了解 IP 地址!必须的（线上&串讲）
4. 搭建VMware 虚拟环境（线上&串讲）
5. Linux 基本操作~去看看（线上&串讲）
6. 网站与域名知识扫盲、域名申请及备案（线上&串讲）
7. 构建 LAMP 网站平台（线上&串讲）
8. 加密解密&熊猫烧香病毒再现（线上）
9. 木马与后门DIY（线上）
网络基础（24）
1. 计算机网络参考模型OSI 和 TCP/IP
2. 网络传输介质与布线
3. 交换机基本原理与配置
4. 网络层协议与应用、ARP 攻击与欺骗的原理及应用
5. 静态路由原理与配置
6. VLAN 与三层交换机
7. 网络层协议高级知识：IP 分片原理、IPv6 协议（线上&串讲）
Linux 系统管理（48）
1. Linux 常用命令精讲
2. 目录和文件管理
3. 安装及管理程序
4. 账号管理
5. 权限及归属管理
6. 磁盘管理
7. 文件系统与 LVM
8. 服务器 RAID 及配置实战
9. 引导过程与服务控制
10. 进程和计划任务管理
11. 系统安全、PAM 安全认证、端口扫描
12.Linux 文件系统深入，理解 inode 与 block、硬链接与软链
接、恢复误删除文件、分析日志文件
Linux 网络服务（28）
1. Linux 基础网络设置
2. DHCP 与 DHCP 中继原理与配置
3. Samba 文件共享服务（线上）
4. FTP 文件传输服务（线上&串讲）
5. DNS 域名解析服务（一）
6. DNS 域名解析服务（二）（线上&串讲）
7. Postfix 邮件系统（一）（线上&串讲）
8. Postfix 邮件系统（二）（线上）
9. 远程访问及控制
10. 部署 YUM 仓库服务；NFS 共享服务
11. PXE 高效批量网络装机
12. Cobbler 自动装机
项目实战（4）
初创公司服务器改造方案
阶段目标：
1. 采用微电影形式，使用真实的硬件服务器进行演练，网络原理采用了 Flash 动画形式，实现快速入门
2. 能够掌握计算机网络、安全与 Linux 系统的基础知识，会进行 Linux 系统管理，能够搭建企业常用的Linux 服务
3. 具备基本的网络运维、Linux 基础运维的能力
阶段二：Linux 企业级应用（132 课时）
模块：Shell 脚本、Linux 安全、Web 服务器、群集、MySQL
Shell 脚本（20）
1. Shell 编程规范与变量
2. Shell 编程之条件语句
3. Shell 编程之 case 语句
4. Shell 编程之正则表达式、sed 与 awk
5. Shell 编程实战：开发 MAC 记录与端口扫描脚本、开发系段毁统监控脚本（项目案例）
Linux 安全（8）
1. iptables 链表关系与匹配流程、iptables 规则编写
2. 利用 SNAT 策略共享上网、利用 DNAT 策略发布内网服务器、编写防火墙脚本、firewalld 防火墙
Web 服务器（38）
1. Web 基础、HTTP 协议分析、GET 和POST 方法
2. 源码编译构建 LAMP
3. Apache 配置与应用，日志管理、日志分割
4. Apache 网页优化
5.Apache 优化深入、实现防盗链、ab 压力测试、prefork 与
worker 工作模式原理与优化
6.Nginx 安装与配置
7.Nginx 访问控握桥备制、Nginx 虚拟主机、部署企业 LNMP 架构
8.LNMP 应用部署、Nginx+Apache 动静分离（项目案例）
9. Nginx 优化与防盗链
10.部署 tomcat（2 课时）
1.LVS 负载均衡群集
2.部署 LVS-DR 群集、消灶LVS-DR 数据包流向分析、LVS-DR 中 的 ARP 问题
群集（22）
3.LVS+Keepalived 群集
4.Haproxy 搭建 Web 群集部署方法 、日志管理、参数优化
5.Nginx+tomcat 群集（项目案例）（2 课时）
6.Nginx+tomcat 动静分离（项目案例）
1.MySQL 数据库初体验
2.MySQL 数据库操作
3.MySQL 索引与事务
4.MySQL 数据库管理
5.MySQL 全量备份与恢复
MySQL（44）
6. MySQL 增量备份与恢复
7. MySQL 存储引擎 MyISAM 和 InnoDB
8.MySQL 主从复制（项目案例）
9.MySQL 读写分离（项目案例）
10. MMM 高可用配置及故障切换、配置 MySQL 多主多从（项
目案例）
11.MHA 高可用、MySQL 故障排查
阶段目标：
1. 面向技术提升，以企业实际的项目案例进行训练，积累运维经验
2. 能够掌握 Shell 脚本、安全，熟练部署 Web 服务器、MySQL 数据库及其优化，深入理解群集原理并部署
3. 具备 Linux 群集、应用运维的能力
阶段三：云计算与运维自动化（120 课时）
模块：缓存及加速、监控、分布式文件服务、虚拟化、大型网站架构、运维自动化、云计算
实训模块
实训专题
缓存及加速（12）
1.Squid 代理服务器应用：传统代理和透明代理
2.Squid ACL 与日志分析工具 sarg、反向代理3.Varnish 网站加速、部署Web 群集（线上） 4.Nginx 缓存加速应用（2 课时）
5.高性能内存对象缓存 Memcached 原理与部署、Memcached
群集部署
监控（8）
1.企业集中监测Cacti（线上&串讲） 2.Nagios 监控服务
3.Zabbix 部署与 Zabbix 平台的使用
分布式文件服务（8）
1. 企业远程备份同步 rsync 异地备份、rsync+inotify 实时备份
2. MFS 分布式文件系统原理与部署、MFS 灾难恢复与在线扩容
容器&虚拟化（28）
1. VMware 入门、ESXi 系统配置（线上&串讲）
2. KVM 架构、安装与配置、基本功能管理、高级功能管理
3. KVM 动态迁移、性能优化
4. Docker 架构、镜像及容器操作
5. Dockerfile 生成镜像、数据卷与数据容器、Docker 网络通信6.实现密钥SSH 远程登录、构建 Nginx、构建 MySQL、构建LNAMP 架构、构建Tomcat
7. 容器日志实战
8. 基于 Kubernetes 构建Docker 集群
网站架构与运维自动化（48）
1. 社交网站架构（8 课时）
1） 搭建SVN 服务器
2） 部署社交网站
3） 对关键服务器进行双机热备
4） 对服务器进行压力测试及性能调优
2. 百万PV 网站架构
Redis 主从复制的特点、Redis 的应用场景、搭建 Redis 主从复制
3. 千万PV 网站架构
1） RabbitMQ 开源消息队列系统的工作过程、使用场景、搭建RabbitMQ 集群
2） Jmeter 压力测试工具
4. Ansible 或 SaltStack 自动化运维（项目案例）（8 课时）
5. MongoDB 部署（8 课时）
6. 其他扩展项目（16 课时，根据学员情况选择）
云计算（16）
云 计 算 OpenStack（ 项 目 案 例 ） 1）OpenStack 体系架构、各个组件的功能
2） 部署OpenStack 云平台，完成相应的配置和管理任务
3） 在 OpenStack 平台内部署系统镜像，并安装网络服务
阶段目标：
1. 面向虚拟化、云计算和运维自动化高级应用，通过企业级项目积累运维经验，练就炉火纯
青的技术
2. 能够掌握监控、分布式文件服务，熟练部署大型网站架构及优化，能够搭建云计算和运维自动化应用环境
3. 具备大型网站架构、云计算运维的能力
4.
项目实施效果图参考
阶段四：Python 运维开发与大数据（80 课时）
模块：Python 基础、Python 运维开发、Web 前端基础、Django Web 开发、Python 大数据
实训模块
实训专题
Python 基础（40）
1.Python 介绍与使用；Python 变量与数据类型；Python 字符
串与列表；Python 元组与字典
2.Python 条件判断；Python 循环
3.Python 函数与模块
4.认识面向对象；类与对象：类的定义、类与对象、类的属性
5.类与对象：类的方法、类与对象综合案例；类的封装和继承
（加答疑、练习，8 课时）
6.文件读写与指针、文件和目录操作
7.异常处理
1.Python 操作数据库：python 操作 mysql；Python 操作 redis
Python 高级与运维开发
（20）
2. 进程和线程、Socket 网络编程、Python 实现简单的聊天程序
3. 运维应用：Python 实现子网划分、python socket 做监控、多线程扫描端口、探测 Web 服务质量
4.其他扩展项目案例
一、网页制作基础：HTML+CSS
1.走进HTML；网页穿上美丽外衣
2.列表表格及表单
Web 前端基础
二、使用 jQuery 制作网页特效
1.Javascript 基础、Javascript 对象
2.jQuery 基础
3.jQuery 选择器与事件
1.搭建 Django Web 开发环境；创建 Web 项目及应用；MVC
模型；Django 的 MTV 框架
2.升级Web 项目及应用
Django Web 开发
3.Django 连接 MySQL 做增删改查
4.Django 开发 Blog
5.通讯录
6.开发并部署BBS 论坛项目
1.Hadoop 架构组成
2.离线安装Hadoop 生态环境并配置应用
3.CDH 部署
Python 大数据
4.使用python 编写 hadoop 程序
5.使用亚马逊云AWS 进行hadoop 大数据操作实例介绍
6.Hadoop python 框架 mrjob 使用实例介绍
7.Hadoop 在AWS 上运行的性能比较
阶段目标：
1. 基于运维的开发，提升运维层次，打开职业发展空间
2. 能够掌握Web 前端基础、Django Web 开发、Python 运维开发，能够搭建大数据应用环境， 打造自动化运维平台
3. 具备Web 开发、运维开发、大数据运维的能力
㈣ 易呗新概念英语听力怎么清除记录
点击历史记录，点击删除就可以。
易呗新概念英语听力，依托易呗记忆和云存储引擎，针对新概念英语听力此册的特点，特别优化了英语听力的学习方式，是一款非常适合初级英语听力训练的软件。
分句精听，中英森孙宏对照，内置易呗词典，内置新概念英语共四册词汇以及分级词凯颂汇，练听力、背单词两不误。
㈤ 大数据核心技术有哪些
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。
一、数据采集与预处理
对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全保障，并且运维困难，需要更强壮的解决方案。
Flume NG作为实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各种数据接收方(比如文本，HDFS，Hbase等)。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，source用来消费（收集）数据源到channel组件中，channel作为中间临时存储，保存所有source的组件信息，sink从channel中读取数据，读取成功之后会删除channel中的信息。
NDC，Netease Data Canal，直译为网易数据运河系统，是网易针对结构化数据库的数据实时迁移、同步和订阅的平台化解决方案。它整合了网易过去在数据传输领域的各种工具和经验，将单机数据库、分布式数据库、OLAP系统以及下游应用通过数据链路串在一起。除了保障高效的数据传输外，NDC的设计遵循了单元化和平台化的设计哲学。
Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。一般常用的存储库是Elasticsearch。Logstash 支持各种输入选择，可以在同一时间从众多常用的数据来源捕捉事件，能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
Sqoop，用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop 启用了一个 MapRece 作业（极其容错的分布式并行计算）来执行任务。Sqoop 的另一大优势是其传输大量结构化或半结构化数据的过程是完全自动化的。
流式计算是行业研究的一个热点，流式计算对多个高吞吐量的数据源进行实时的清洗、聚合和分析，可以对存在于社交网站、新闻等的数据信息流进行快速的处理并反馈，目前大数据流分析工具有很多，比如开源的strom，spark streaming等。
Strom集群结构是有一个主节点（nimbus）和多个工作节点（supervisor）组成的主从结构，主节点通过配置静态指定或者在运行时动态选举，nimbus与supervisor都是Storm提供的后台守护进程，之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。nimbus进程的主要职责是管理、协调和监控集群上运行的topology（包括topology的发布、任务指派、事件处理时重新指派任务等）。supervisor进程等待nimbus分配任务后生成并监控worker（jvm进程）执行任务。supervisor与worker运行在不同的jvm上，如果由supervisor启动的某个worker因为错误异常退出（或被kill掉），supervisor会尝试重新生成新的worker进程。
当使用上游模块的数据进行计算、统计、分析时，就可以使用消息系统，尤其是分布式消息系统。Kafka使用Scala进行编写，是一种分布式的、基于发布/订阅的消息系统。Kafka的设计理念之一就是同时提供离线处理和实时处理,以及将数据实时备份到另一个数据中心，Kafka可以有许多的生产者和消费者分享多个主题，将消息以topic为单位进行归纳；Kafka发布消息的程序称为procer，也叫生产者，预订topics并消费消息的程序称为consumer，也叫消费者；当Kafka以集群的方式运行时，可以由一个服务或者多个服务组成，每个服务叫做一个broker，运行过程中procer通过网络将消息发送到Kafka集群，集群向消费者提供消息。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Procer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。Kafka可以和Flume一起工作，如果需要将流式数据从Kafka转移到hadoop，可以使用Flume代理agent，将Kafka当做一个来源source，这样可以从Kafka读取数据到Hadoop。
Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。它的作用主要有配置管理、名字服务、分布式锁和集群管理。配置管理指的是在一个地方修改了配置，那么对这个地方的配置感兴趣的所有的都可以获得变更，省去了手动拷贝配置的繁琐，还很好的保证了数据的可靠和一致性，同时它可以通过名字来获取资源或者服务的地址等信息，可以监控集群中机器的变化，实现了类似于心跳机制的功能。
二、数据存储
Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。
HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。
Phoenix，相当于一个Java中间件，帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。
Yarn是一种Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn由下面的几大组件构成：一个全局的资源管理器ResourceManager、ResourceManager的每个节点代理NodeManager、表示每个应用的Application以及每一个ApplicationMaster拥有多个Container在NodeManager上运行。
Mesos是一款开源的集群管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。
Redis是一种速度非常快的非关系数据库，可以存储键与5种不同类型的值之间的映射，可以将存储在内存的键值对数据持久化到硬盘中，使用复制特性来扩展性能，还可以使用客户端分片来扩展写性能。
Atlas是一个位于应用程序与MySQL之间的中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。Atlas启动后会创建多个线程，其中一个为主线程，其余为工作线程。主线程负责监听所有的客户端连接请求，工作线程只监听主线程的命令请求。
Ku是围绕Hadoop生态圈建立的存储引擎，Ku拥有和Hadoop生态圈共同的设计理念，它运行在普通的服务器上、可分布式规模化部署、并且满足工业界的高可用要求。其设计理念为fast analytics on fast data。作为一个开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Ku不但提供了行级的插入、更新、删除API，同时也提供了接近Parquet性能的批量扫描操作。使用同一份存储，既可以进行随机读写，也可以满足数据分析的要求。Ku的应用场景很广泛，比如可以进行实时的数据分析，用于数据可能会存在变化的时序数据应用等。
在数据存储过程中，涉及到的数据表都是成千上百列，包含各种复杂的Query，推荐使用列式存储方法，比如parquent,ORC等对数据进行压缩。Parquet 可以支持灵活的压缩选项，显着减少磁盘上的存储。
三、数据清洗
MapRece作为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map（映射）”和”Rece（归约）”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统中。
随着业务数据量的增多，需要进行训练和清洗的数据会变得越来越复杂，这个时候就需要任务调度系统，比如oozie或者azkaban，对关键任务进行调度和监控。
Oozie是用于Hadoop平台的一种工作流调度引擎，提供了RESTful API接口来接受用户的提交请求(提交工作流作业)，当提交了workflow后，由工作流引擎负责workflow的执行以及状态的转换。用户在HDFS上部署好作业(MR作业)，然后向Oozie提交Workflow，Oozie以异步方式将作业(MR作业)提交给Hadoop。这也是为什么当调用Oozie 的RESTful接口提交作业之后能立即返回一个JobId的原因，用户程序不必等待作业执行完成（因为有些大作业可能会执行很久(几个小时甚至几天)）。Oozie在后台以异步方式，再将workflow对应的Action提交给hadoop执行。
Azkaban也是一种工作流的控制引擎，可以用来解决有多个hadoop或者spark等离线计算任务之间的依赖关系问题。azkaban主要是由三部分构成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban将大多数的状态信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、认证、调度以及对工作流执行过程中的监控等；Azkaban Executor Server用来调度工作流和任务，记录工作流或者任务的日志。
流计算任务的处理平台Sloth，是网易首个自研流计算平台，旨在解决公司内各产品日益增长的流计算需求。作为一个计算服务平台，其特点是易用、实时、可靠，为用户节省技术方面（开发、运维）的投入，帮助用户专注于解决产品本身的流计算需求。
四、数据查询分析
Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。Hive本身不存储和计算数据，它完全依赖于HDFS和MapRece。可以将Hive理解为一个客户端工具，将SQL操作转换为相应的MapRece jobs，然后在hadoop上面运行。Hive支持标准的SQL语法，免去了用户编写MapRece程序的过程，它的出现可以让那些精通SQL技能、但是不熟悉MapRece 、编程能力较弱与不擅长Java语言的用户能够在HDFS大规模数据集上很方便地利用SQL 语言查询、汇总、分析数据。
Hive是为大数据批量处理而生的，Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈 。Hive 将执行计划分成map->shuffle->rece->map->shuffle->rece…的模型。如果一个Query会被编译成多轮MapRece，则会有更多的写中间结果。由于MapRece执行框架本身的特点，过多的中间过程会增加整个Query的执行时间。在Hive的运行过程中，用户只需要创建表，导入数据，编写SQL分析语句即可。剩下的过程由Hive框架自动的完成。
Impala是对Hive的一个补充，可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop，用来进行大数据实时查询分析。通过熟悉的传统关系型数据库的SQL风格来操作大数据，同时数据也是可以存储到HDFS和HBase中的。Impala没有再使用缓慢的Hive+MapRece批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。Impala将整个查询分成一执行计划树，而不是一连串的MapRece任务，相比Hive没了MapRece启动时间。
Hive 适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询，Impala给数据人员提供了快速实验，验证想法的大数据分析工具，可以先使用Hive进行数据转换处理，之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。总的来说：Impala把执行计划表现为一棵完整的执行计划树，可以更自然地分发执行计划到各个Impalad执行查询，而不用像Hive那样把它组合成管道型的map->rece模式，以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。但是Impala不支持UDF，能处理的问题有一定的限制。
Spark拥有Hadoop MapRece所具有的特点，它将Job中间输出结果保存在内存中，从而不需要读取HDFS。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。
Solr用Java编写、运行在Servlet容器（如Apache Tomcat或Jetty）的一个独立的企业级搜索应用的全文搜索服务器。它对外提供类似于Web-service的API接口，用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。
Elasticsearch是一个开源的全文搜索引擎，基于Lucene的搜索服务器，可以快速的储存、搜索和分析海量的数据。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
还涉及到一些机器学习语言，比如，Mahout主要目标是创建一些可伸缩的机器学习算法，供开发人员在Apache的许可下免费使用；深度学习框架Caffe以及使用数据流图进行数值计算的开源软件库TensorFlow等，常用的机器学习算法比如，贝叶斯、逻辑回归、决策树、神经网络、协同过滤等。
五、数据可视化
对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。主流的BI平台比如，国外的敏捷BI Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数（可点击这里免费试用）等。
在上面的每一个阶段，保障数据的安全是不可忽视的问题。
基于网络身份认证的协议Kerberos，用来在非安全网络中，对个人通信以安全的手段进行身份认证，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。
控制权限的ranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。可以对Hadoop生态的组件如Hive，Hbase进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置，同时权限可与hadoop无缝对接。
㈥ [编程工具]Uber 上市背后那些开源软件
当地时间5月10日上午，出行巨头Uber在纽交所挂牌上市指宽，股票代码为“UBER”。这可能是2019年美股市场规模最大的IPO。Uber 上市的表现以及公司巨亏的现状等等跟技术无关的问题交给华尔街的那些专家们去分析。
咱们只讨论支持 Uber 技术的那些开源软件：
AresDB —— AresDB 是 Uber 开源的一个基于 GPU 运算的实时分析存储引擎和查询引擎。具备低查询延迟、高数据刷新率和高效内存和磁盘存储管理。AresDB 要求 CUDA Toolkit 的支持。
Fusion.js —— Uber 的 Web 平台团队开发 Fusion.js，一个开源的 Web 框架，用于简化 Web 开发，并构辩猜建出高性能的轻量级 Web 应用程序。
Petastorm —— Petastorm 是由 Uber ATG(Advanced Technologies Group) 开发的开源数据访问库。这个库可以直接基于数 TB Parquet 格式的数据集进行单机或分布式训练和深度学习模型评估。
M3 —— M3 是 Uber 开源的一个基于分布式时序数据库 M3DB 构建的度量平台，可每秒聚合 5 亿个指标，并且以每秒 2000 万笔的速度持续存储这些结果唯灶亮。
Uber JVM Profiler —— JVM Profiler 是 Uber Engineering 团队开源的一个分布式探查器，用于收集性能和资源使用率指标为进一步分析提供服务。
RIBs —— RIBs 是 Router、Interactor 和 Builder 的简称，是 Uber 许多移动端应用背后的跨平台架构。
AthenaX —— AthenaX 是 Uber 的内部流分析平台，同时支持着 Uber 的技术与非技术客户，确保其能够利用结构化查询语言（简称 SQL）运行全面的生产级流分析任务。
Jaeger —— Jaeger是Uber的分布式跟踪系统，Jaeger客户端库中的轮询功能旨在解决这些问题。通过将关于适当采样策略的决定移动到跟踪后端，我们免除服务开发人员猜测适当的采样率。
Chaperone —— 作为 Kafka 审计系统，Chaperone 监控数据流的完整性和延迟。审计指标持久存储在数据库中，供 Kafka 用户量化其主题的损失。
Ludwig —— 这是一款基于 Google TensorFlow 框架上的开源工具箱。借由 Ludwig，用户无需再编写任何代码即可进行深度学习的开发。
Hudi —— Hudi 旨在解决 Uber 大数据生态系统中需要插入更新及增量消费原语的摄取管道和 ETL 管道的低效问题
㈦ 大数据三大核心技术：拿数据、算数据、卖数据！
大数据的由来
对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
1
麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
大数据的应用领域
大数据无处不在，大数据应用于各个行业，包括金融、 汽车 、餐饮、电信、能源、体能和 娱乐 等在内的 社会 各行各业都已经融入了大数据的印迹。
制造业，利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。
金融行业，大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。
汽车 行业，利用大数据和物联网技术的无人驾驶 汽车 ，在不远的未来将走入我们的日常生活。
互联网行业，借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。
电信行业，利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施。
能源行业，随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。
物流行业，利用大数据优化物流网络，提高物流效率，降低物流成本。
城市管理，可以利用大数据实现智能交通、环保监测、城市规划和智能安防。
体育 娱乐 ，大数据可以帮助我们训练球队，决定投拍哪种 题财的 影视作品，以及预测比赛结果。
安全领域，政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。
个人生活， 大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。
大数据的价值，远远不止于此，大数据对各行各业的渗透，大大推动了 社会 生产和生活，未来必将产生重大而深远的影响。
大数据方面核心技术有哪些？
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。
数据采集与预处理
对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全保障，并且运维困难，需要更强壮的解决方案。
Flume NG
Flume NG作为实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各种数据接收方(比如文本，HDFS，Hbase等)。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，source用来消费(收集)数据源到channel组件中，channel作为中间临时存储，保存所有source的组件信息，sink从channel中读取数据，读取成功之后会删除channel中的信息。
NDC
Logstash
Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。一般常用的存储库是Elasticsearch。Logstash 支持各种输入选择，可以在同一时间从众多常用的数据来源捕捉事件，能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
Sqoop
Sqoop，用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop 启用了一个 MapRece 作业(极其容错的分布式并行计算)来执行任务。Sqoop 的另一大优势是其传输大量结构化或半结构化数据的过程是完全自动化的。
流式计算
流式计算是行业研究的一个热点，流式计算对多个高吞吐量的数据源进行实时的清洗、聚合和分析，可以对存在于社交网站、新闻等的数据信息流进行快速的处理并反馈，目前大数据流分析工具有很多，比如开源的strom，spark streaming等。
Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构，主节点通过配置静态指定或者在运行时动态选举，nimbus与supervisor都是Storm提供的后台守护进程，之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。nimbus进程的主要职责是管理、协调和监控集群上运行的topology(包括topology的发布、任务指派、事件处理时重新指派任务等)。supervisor进程等待nimbus分配任务后生成并监控worker(jvm进程)执行任务。supervisor与worker运行在不同的jvm上，如果由supervisor启动的某个worker因为错误异常退出(或被kill掉)，supervisor会尝试重新生成新的worker进程。
Zookeeper
Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。它的作用主要有配置管理、名字服务、分布式锁和集群管理。配置管理指的是在一个地方修改了配置，那么对这个地方的配置感兴趣的所有的都可以获得变更，省去了手动拷贝配置的繁琐，还很好的保证了数据的可靠和一致性，同时它可以通过名字来获取资源或者服务的地址等信息，可以监控集群中机器的变化，实现了类似于心跳机制的功能。
数据存储
Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。
HBase
HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。
Phoenix
Phoenix，相当于一个Java中间件，帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。
Yarn
Yarn是一种Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn由下面的几大组件构成：一个全局的资源管理器ResourceManager、ResourceManager的每个节点代理NodeManager、表示每个应用的Application以及每一个ApplicationMaster拥有多个Container在NodeManager上运行。
Mesos
Mesos是一款开源的集群管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。
Redis
Redis是一种速度非常快的非关系数据库，可以存储键与5种不同类型的值之间的映射，可以将存储在内存的键值对数据持久化到硬盘中，使用复制特性来扩展性能，还可以使用客户端分片来扩展写性能。
Atlas
Atlas是一个位于应用程序与MySQL之间的中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。Atlas启动后会创建多个线程，其中一个为主线程，其余为工作线程。主线程负责监听所有的客户端连接请求，工作线程只监听主线程的命令请求。
Ku
Ku是围绕Hadoop生态圈建立的存储引擎，Ku拥有和Hadoop生态圈共同的设计理念，它运行在普通的服务器上、可分布式规模化部署、并且满足工业界的高可用要求。其设计理念为fast analytics on fast data。作为一个开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Ku不但提供了行级的插入、更新、删除API，同时也提供了接近Parquet性能的批量扫描操作。使用同一份存储，既可以进行随机读写，也可以满足数据分析的要求。Ku的应用场景很广泛，比如可以进行实时的数据分析，用于数据可能会存在变化的时序数据应用等。
在数据存储过程中，涉及到的数据表都是成千上百列，包含各种复杂的Query，推荐使用列式存储方法，比如parquent,ORC等对数据进行压缩。Parquet 可以支持灵活的压缩选项，显着减少磁盘上的存储。
数据清洗
MapRece作为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map(映射)”和”Rece(归约)”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统中。
随着业务数据量的增多，需要进行训练和清洗的数据会变得越来越复杂，这个时候就需要任务调度系统，比如oozie或者azkaban，对关键任务进行调度和监控。
Oozie
Oozie是用于Hadoop平台的一种工作流调度引擎，提供了RESTful API接口来接受用户的提交请求(提交工作流作业)，当提交了workflow后，由工作流引擎负责workflow的执行以及状态的转换。用户在HDFS上部署好作业(MR作业)，然后向Oozie提交Workflow，Oozie以异步方式将作业(MR作业)提交给Hadoop。这也是为什么当调用Oozie 的RESTful接口提交作业之后能立即返回一个JobId的原因，用户程序不必等待作业执行完成(因为有些大作业可能会执行很久(几个小时甚至几天))。Oozie在后台以异步方式，再将workflow对应的Action提交给hadoop执行。
Azkaban
Azkaban也是一种工作流的控制引擎，可以用来解决有多个hadoop或者spark等离线计算任务之间的依赖关系问题。azkaban主要是由三部分构成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban将大多数的状态信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、认证、调度以及对工作流执行过程中的监控等;Azkaban Executor Server用来调度工作流和任务，记录工作流或者任务的日志。
流计算任务的处理平台Sloth，是网易首个自研流计算平台，旨在解决公司内各产品日益增长的流计算需求。作为一个计算服务平台，其特点是易用、实时、可靠，为用户节省技术方面(开发、运维)的投入，帮助用户专注于解决产品本身的流计算需求
数据查询分析
Hive
Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。Hive本身不存储和计算数据，它完全依赖于HDFS和MapRece。可以将Hive理解为一个客户端工具，将SQL操作转换为相应的MapRece jobs，然后在hadoop上面运行。Hive支持标准的SQL语法，免去了用户编写MapRece程序的过程，它的出现可以让那些精通SQL技能、但是不熟悉MapRece 、编程能力较弱与不擅长Java语言的用户能够在HDFS大规模数据集上很方便地利用SQL 语言查询、汇总、分析数据。
Hive是为大数据批量处理而生的，Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈 。Hive 将执行计划分成map->shuffle->rece->map->shuffle->rece…的模型。如果一个Query会被编译成多轮MapRece，则会有更多的写中间结果。由于MapRece执行框架本身的特点，过多的中间过程会增加整个Query的执行时间。在Hive的运行过程中，用户只需要创建表，导入数据，编写SQL分析语句即可。剩下的过程由Hive框架自动的完成。
Impala
Impala是对Hive的一个补充，可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop，用来进行大数据实时查询分析。通过熟悉的传统关系型数据库的SQL风格来操作大数据，同时数据也是可以存储到HDFS和HBase中的。Impala没有再使用缓慢的Hive+MapRece批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分组成)，可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。Impala将整个查询分成一执行计划树，而不是一连串的MapRece任务，相比Hive没了MapRece启动时间。
Hive 适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询，Impala给数据人员提供了快速实验，验证想法的大数据分析工具，可以先使用Hive进行数据转换处理，之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。总的来说：Impala把执行计划表现为一棵完整的执行计划树，可以更自然地分发执行计划到各个Impalad执行查询，而不用像Hive那样把它组合成管道型的map->rece模式，以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。但是Impala不支持UDF，能处理的问题有一定的限制。
Spark
Spark拥有Hadoop MapRece所具有的特点，它将Job中间输出结果保存在内存中，从而不需要读取HDFS。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
Nutch
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。
Solr
Solr用Java编写、运行在Servlet容器(如Apache Tomcat或Jetty)的一个独立的企业级搜索应用的全文搜索服务器。它对外提供类似于Web-service的API接口，用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引;也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。
Elasticsearch
Elasticsearch是一个开源的全文搜索引擎，基于Lucene的搜索服务器，可以快速的储存、搜索和分析海量的数据。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
还涉及到一些机器学习语言，比如，Mahout主要目标是创建一些可伸缩的机器学习算法，供开发人员在Apache的许可下免费使用;深度学习框架Caffe以及使用数据流图进行数值计算的开源软件库TensorFlow等，常用的机器学习算法比如，贝叶斯、逻辑回归、决策树、神经网络、协同过滤等。
数据可视化
对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。主流的BI平台比如，国外的敏捷BI Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数等。
在上面的每一个阶段，保障数据的安全是不可忽视的问题。
基于网络身份认证的协议Kerberos，用来在非安全网络中，对个人通信以安全的手段进行身份认证，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。
控制权限的ranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。可以对Hadoop生态的组件如Hive，Hbase进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置，同时权限可与hadoop无缝对接。
简单说有三大核心技术：拿数据，算数据，卖数据。