时间:2015-01-04 来源:

Hadoop集群搭建(三台电脑) 【架构设计】

电脑的操作系统是Ubuntu12.04 32位web前端制作,ubuntu-12.04.4-desktop-i386.iso.

                                 </configuration>  

        三台电脑的用户名都为hadoop

                                            <property>    

                修改hdfs-site.xml文件               

一、配置

                                            <property>   

       在/etc/hostname下修改自己的机器名

              一直默认回车就可以,web前端制作安装完cd .ssh 可以发现 id_rsa(密钥)和id_rsa.pub(公钥)两个文件.

        三台机器都需要div前端切图,包括openssh-server和openssh-client.

     4.2 修改conf/hadoop-env.sh

     

                                                     <name>dfs.replication</name>   

        export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

 

        2.4测试($ java -version)

                                                <value>hdfs://master:9000</value>    

                                  <configuration>   

        2.2在/etc/profile里最后添加JAVA环境(sudo gedit /etc/profile)

                修改mapred-site.xml文件             

           sudo tar -zxf *.tag.gz,   这时就可以无密码访问localhost (ssh localhost).

四、安装Hadoop(三台相同) 

                                         </property>    

                            </configuration>

二、安装JDK

三、安装SSH并实现无密码访问

         export JAVA_HOME=/usr/local/java/jdk1.7.0_71

集群介绍:     

                                                <name>fs.default.name</name>    

 

                masters文件       master               

                修改core-site.xml文件                        

                                                    <value>3</value>   

       主机名:master    10.10.6.176

       在/etc/hosts下将所有机器名和对应的IP添加

      4.4测试

                slaves文件         slaver1

                               </configuration> 

               停止  bin/stop-all.sh

               在master下[hadoop@master]$ jps后有4的进程 Jps、NameNode、JobTracker、SecondaryNameNode

                                          <property>   

                                                     <name>mapred.job.tracker</name>   

       以下是三台机器都要安装和相同配置

                                       </property>   

        2.1在usr/local目录下新建java目录符合w3c标准,slaves,mapred-site.xml,hdfs-site.xml

       3.2建立ssh无密码登录,web前端制作采用rsa方式生成(ssh-keygen -t rsa)

       服务机:slaver1     10.10.6.242;slaver2    10.10.6.131

        export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

     3.3无密码访问master本机

        2.3保存设置生效 ($ source /etc/profile)

              # for java

     我用的是hadoop-1.2.1.tar.gz

               格式化HDFS以做好数据存储   bin/hadoop namenode -format

               启动   bin/start-all.sh

           将master_key 追加到slaver1和slaver2的authorized_keys文件里 cat master_key  >> authorized_keys(可以通过cat authorized_keys查看是否添加成功) 

               在slaves下[hadoop@slaver1]$ jps 后有3个进程 Jps、DataNode、TaskTracker

                                       </property>   

     3.4无密码访问slaver1和slaver2

                                     <configuration>   

                                  <configuration>   

点击次数:10262
作者:
web前端行业资讯
Web new NewsList
谷歌安全博客披露“英特尔内核漏洞”更多细节 ,,2018年01月04日Postgres10开发者新特性 ,,2017年12月28日阿里巴巴、狗尾草、苏大联合论文:基于对抗学习的众包标注用于中文命名实体识别 ,,2017年12月28日柯洁的2017:20岁,与AI斗与人类斗,其乐无穷 ,,2017年12月28日如果机器人拥有痛觉,这个世界会有哪些不一样? ,,2017年12月28日苹果经典电脑Lisa源代码修复完成将于2018年开源 ,,2017年12月28日腾讯浏览指数发布年终榜单2017年人们都关注哪些AI话题? ,,2017年12月28日除了发现开普勒90,NASA还靠AI做了什么? ,,2017年12月28日柯洁宣布:明年4月,将再次与围棋AI交锋 ,,2017年12月28日百度无人车美国首秀CES将发布Apollo2.0 ,,2017年12月28日这四种技术发展趋势将在2018年改变世界 ,,2017年12月28日2017:谷歌DeepMind团队的年度回顾 ,,2017年12月28日封杀这个公式,AI智商将为零 ,,2017年12月28日微软AI高管:要让所有人、所有机构都用上人工智能 ,,2017年12月28日为什么Linux桌面年一直未到来 ,,2017年12月28日AppleLisa操作系统将开源 ,,2017年12月28日2018年9大技术趋势预测 ,,2017年12月28日谷歌研究院发布NIMA:能评价图像有多美,还能让图像变得更美 ,,2017年12月28日苹果为2019年iPhone开发大容量电池新技术 ,,2017年12月28日谷歌发布Tacotron2:能更简单地训练AI学习演讲 ,,2017年12月21日TensorFlow漏洞爆发背后:关于AI安全我们的傻与天真 ,,2017年12月21日Android端Edge浏览器新版发布:常规性能优化和BUG修复 ,,2017年12月21日三星开发出全球最小的DRAM芯片技术领先优势扩大 ,,2017年12月21日腾讯绝艺AI下一步将学习AlphaGozero自对弈训练 ,,2017年12月21日Facebook社交VR应用Spaces扩大覆盖面:入驻HTCVive ,,2017年12月21日设计图曝光:三星双屏折叠手机原来是这样的 ,,2017年12月21日微信支付和支付宝已成为世界移动支付的"老师" ,,2017年12月21日新专利表明FaceID未来有望装备在iPad、MacBook和iMac等设备 ,,2017年12月21日首批九个建议加入EE4J的项目 ,,2017年12月21日这就是SurfacePhone?微软可折叠手机概念图曝光 ,,2017年12月21日pcap网络抓包无法importpcap 【Web前端】2015年06月11日leetcodeMinStack【编程语言】2014年11月17日JavaScript聚焦于第一个字段的代码2014年01月29日POJ3342PartyatHali-Bula(树的最大独立集-树形DP-刷表法)【编程语言】2015年03月19日空间服务器稳定的重要性2014年01月28日Spring消息通信SpringIntegration2.1.1发布 1,收藏 ,,2016年06月23日淘宝首页图片滑动切换效果基于jQuery的animate方法实现 【编程语言】2015年02月25日c3p0连接池模板 【移动开发】2014年11月17日【百度】数组A中任意两个相邻元素大小相差1,在其中查找某个数,【编程语言】2015年03月26日【数据结构】线性表之顺序表的类模板实现2015年06月18日iOSUI04_Target-Action 【架构设计】2015年08月05日Android广播机制的设计初衷是什么? 【编程语言】2015年08月17日Lucene实现自定义分词器(同义词查询与高亮) 【Web前端】2015年01月29日域名注册的一些术语2014年01月28日阻止子元素继承父元素事件具体思路及实现2014年01月29日iOS项目开发小技巧(一)--如何自定义UIViewController的titile 【移动开发】2015年06月01日执行InsertExec时的隐藏开销分析2014年01月29日QT中QMessageBox的用法中文按钮,设置背景,窗口LOGO 【编程语言】2014年11月04日USACO--3.1Factorials 【系统运维】2015年04月17日封装下linux中的锁【综合】2015年07月27日BinaryTreeZigzagLevelOrderTraversal--leetcode 【数据库】2015年05月13日谁是Windows10中国市场的赢家?【架构设计】2015年08月14日ACdream1112AliceandBob(博弈&&素数筛选优化)【编程语言】2015年06月29日poj1182食物链种类并查集 【移动开发】2015年01月30日安全维护IIS下ASP站点的高级技巧2014年01月30日揭秘家用路由器0day漏洞挖掘技术——互动出版网 【互联网】2015年07月28日Redis集群方案,Codis安装测试 【移动开发】2015年03月10日CAD制图软件LibreCAD ,,2016年06月29日poj2484----简单博弈【编程语言】2015年03月30日java多线程(八)为什么弃用stop和suspend 【编程语言】2015年08月27日
我们保证
We guarantee
> psd效果文件手工切图,保证图片效果最好体积最小利于传输
> 100%手写的HTML(DIV+CSS)编码,绝对符合W3C标准
> 代码精简、css沉余量小、搜索引擎扫描迅速,网页打开快捷
> 应用Css Sprite能够减少HTTP请求数,提高网页性能
> 跨浏览器兼容(IE6、7、8、9,Firefox火狐,Chrome谷歌)