A. hadoop怎么关闭web访问功能
不关闭防火墙。hadoop关闭web访问功能需要不关防火墙,NameNode需要有两台机器,且两台机器的软件配置需要相同,比如JDK的版本、Hadoop的版本等。
B. 如何把web应用搭建到hadoop平台
web应用是实时的应用。而hadoop平台是用来处理非实时数据的。
所以,通常是超大数据用hadoop处理,结果返回数据库(或hbase)中,web应用调用数据库。
C. hadoop怎样开发web程序
其实,你弄错了hadoop的真正意图。首先,hadoop不适合于开发WEB程序。hadoop的优势在于大规模的分布式数据处理。负责数据的分析并采用分布式数据库(hbase)来存储。但是,hadoop有个特点是,所有的数据处理作业都是批处理的,也就是说hadoop在实时性上是不占优势的。对于WEB应用来说,你也许可以做的是,将系统的数据处理部分分离出来交给hadoop去做。关于hadoop的数据处理有一个专门的工具:hive。hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为 MapRece任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapRece统计,不必开发专门的MapRece应用,十分适合数据仓库的统计分析。 希望对你有帮助
D. hadoop web管理Hue,Ambari 和CM 的区别是什么
1.hue是什么?
hue是hadoop生态系统的统一webUI。你可以通过hue的界面,链接hive,发出hive语句。这个类似phpmysql。 你可以浏览hdfs的文件。 你可以定义oozie的工作流,可以写pig的脚本,可以配置zookeeper,可以可视化的配置kafka。总之,hue的目标就是作一个hadoop各种生态组建的webUI的平台。
hue既然是平台,那组件就是app。参考这里。App Store | Hue
我未来的工作会读hue的 python代码,挖掘更多hue的功能。国内有hue的玩家,或者感兴趣的玩家,欢迎一起交流噢。
2.clouera manager。
是管理hadoop集群运维的webUI。你可以用cloudera manager在集群中,简单的搭建hadoop,hbase集群。通过cloudera manager,你能看到哪些datenode结点和namenode 结点联结有问题了,哪些磁盘快满了,哪些cpu高,哪些磁盘io高。等等。 当你有个datenode的一块硬盘坏了时,你可以在cm中轻松的把这个datenode先停止工作,然后把结点移除。在磁盘修好了之后,再添加回集群。 当你新添加了一批机器,需要运行集群负载平衡的指令时,cm也能简单满足。 cloudera manager的用处,是用来简化hadoop运维人员的工作门槛的,webUI所见所得,提高效率。
更详细的clouderamanager介绍,就去cm的官网撸文档吧。Cloudera QuickStart
3.ambari
做hadoop商业化的公司,有3家比较大的。cloudera manager 、 hortonworks、mapR.
这里是个简单的对比 Cloudera vs. Hortonworks vs. MapR
一句话。cloudera manager的自家管理套件就是同名的cm。 ambari是hortonworks公司的,纯开源的用来对标cm的hadoop生态管理套件。
E. hadoop web 访问端是怎样配置文件
1、masters记录的是需要启动secondary namenode的节点, 不是namenode,它也和maprece没任何关系。
slaves记录的是需要执行start-all.sh(或相关命令)时,需要远程启动tasktracker与datanode的节点。
2、这2个文件不需要分发至各个工作节点。
3、哪个机器执行启动脚本,那它就是jobtracke与namenode,再根据masters确定secondary namenode, 根据slaves文件确定tasktracker与datanode,并远程启动这些守护进程。
F. hadoop适合解决web 的高并发吗
hadoop适合处理分布式集群系统,本身是支持高速并发海量数据的写入和读取的。解决大量用户并发访问的方案有很多,给你个千万pv的参考方案:
1)架构中直接引入软件名称的模块,是个人推荐使用的,如Haproxy、Hadoop等;
2)关于全局负载均衡,看成本投入情况,可以使用商业的产品,如F5-GTM,开源方案便是自搭智能DNS;
3)本地负载均衡方案,可以考虑F5-LTM或成熟的开源解决方案LVS;
4)代理层为什么推荐大家使用Haproxy?Haproxy是一个非常优秀的反向代理软件,十分高效、稳定。国内top 10的互联网公司都有在使用;
5)缓存层可以使用Squid或Varnish,个人更倾向Varnish。配置灵活、运行稳定,提供非常便利的管理接口。为啥在缓存层前面加一层代理?优点非常多,列举如下:
根据应用配置URI路由规则,集中热点来提高后端缓存的命中率;
轻松划分网站频道、版块,更好对应用进步组织、规划;
对URI进行一般性安全过滤,抵御注入攻击;
弹性调配硬件资源,应对突发事件产生大流量;
可回收宝贵的公网IP资源;
6)应用层开源技术方案非常多且成熟,在此不详细描述;
7)数据库层主流开源解决方案Mysql是首选,主从复制(一主对多从)是目前比较靠谱的模式;
8)关于Nosql,应用场景不多说,可参考“给部门做的Mongodb技术交流PPT”文章,redis、memcached等作为热点数据存储、数据库缓存都非常理想;
9)内网DNS扮演的角色非常重要,一定要消灭code中出现的内网IP地址,很大程度减少因IP变更、服务器故障而修改源码的情况,同时也便于维护;
10)内网LB适用在内部WEB接口、多台数据库Slave、多台Nosql Slave、公共服务等应用的负载均衡,可以使用LVS、Haproxy来实现,可用性要求不高的应用可行直接使用Localhost DNS轮询;
11)hadoop适合海量数据的存储与处理,如做网站日志分析、用户数据挖掘等;
12)管理集群,平台的核心,运维的阵地;
G. hadoop的web管理界面打不开怎么办
在虚拟机上安装了Hadoop,安装情况如下:
192.168.220.129 master
192.168.220.130 slave1
192.168.220.131 slave2
配置好各个ip后,在虚拟系统中可以访问,http://192/168.220.129:50070 ,但是在笔记本的window上不能访问
使用命令查看如下:
H. hadoop在web开发中的应用
hadoop主要Map/Rece编程方式
hadoop 实现分布式,之后可以运算或是用hbase存储;
web是你的项目,侧重前台的展示或相关业务员逻辑;
I. 怎样通过web前端把数据传至hadoop里
hadoop跑在服务器上,属于后台。
web前端属于前台。
首先得把数据从前台传到后台,然后再从后台传入hadoop是这么个思路。
从前台传入后台,就是标准的web传值,表单也好ajax也好,然后后台用个struts的action啊或者servelt么得接收一下。
然后传入hadoop就好办了,写入文件么的都可以,后台就简单了,不多说了。
J. hadoop web管理Hue,Ambari 和CM 的区别是什么
亲,很高兴为您解答,HortonworksHadoop区别于其他的Hadoop发行版(如Cloudera)的根本就在于,Hortonworks的产品均是百分之百开源。Cloudera有免费版和企业版,企业版只有试用期。apachehadoop则是原生的hadoop。目前在中国流行的是apachehadoop,ClouderaCDH,当然Hortonworks也有用的ApacheAmbari是一个基于web的工具,用于配置、管理和监视ApacheHadoop集群,支持HadoopHDFS,、HadoopMapRece、Hive、HCatalog,、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同样还提供了集群状况仪表盘,比如heatmaps和查看MapRece、Pig、Hive应用程序的能力,以友好的用户界面对它们的性能特性进行诊断。希望能帮助到您,望采纳!