时间:2015-05-20 来源:

在Windows上使用Eclipse配置HadoopMapReduce开发环境 【移动开发】

在Windows上使用Eclipse配置Hadoop MapReduce开发环境 1. 系统环境及所需文件 windows 8.1 64bit Eclipse (Version: Luna Release 4.4.0) hadoop-eclipse-plugin-2.7.0.jar hadoop.dll & winutils.exe 2. 修改Master节点的hdfs-site.xml 添加如下内容

hdfs://Master:9000/input hdfs://Master:9000/output (注意:如果output目录已经存在div+css+js切图,则删掉或换个名字,div+css+js切图如output01, F:\DevTools\hadoop-2.6.0-cdh5.4.1\src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples\WordCount.java) 2.java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)异常问题

5. windows下运行环境配置 将下载下来的hadoop.dll,winutils.exe拷贝到$HADOOP_HOME/bin目录下

<property> <name>dfs.permissions</name> <value>false</value> </property> 旨在取消权限检查,手机div+css原因是为了解决我在windows机器上配置eclipse连接hadoop服务器时web外包,配置map/reduce连接后报以下错误,web外包org.apache.hadoop.security.AccessControlException: Permission denied:

7. 运行结果

修改Master节点中hadoop-2.6.0-cdh5.4.1\src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio\NativeIO.java 然后在/src/hadoop-common-project/hadoop-common目录下 用maven重新编译jar包 mvn package -Pdist,native -DskipTests -Dtar -e -X 编译完成后会在hadoop-common/target生成相应的jar包只需要用hadoop-common-2.6.0-cdh5.4.1.jar替换掉windows下$HADOOP_HOME\share\hadoop\common目录对应的jar包

3. 配置Hadoop插件 将下载的hadoop-eclipse-plugin-2.7.0.jar文件放到Eclipse的plugins目录下,div页面重启Eclipse即可看到该插件已生效 创建New hadoop location, Eclipse菜单栏Window -> Show View -> Other MapReduce Tools -> Map/Reduce Locations 3. 配置完毕,div+css+js切图查看效果

6. 运行WordCount Project 在eclipse中点击WordCount.java,右键,承接网站前端点击Run As—>Run Configurations,配置运行参数,承接网页制作即输入和输出文件夹

$(function () { $('pre.prettyprint code').each(function () { var lines = $(this).text().split('\n').length; var $numbering = $('').addClass('pre-numbering').hide(); $(this).addClass('has-numbering').parent().append($numbering); for (i = 1; i ').text(i)); }; $numbering.fadeIn(1700); }); });

点击次数:2303
作者:
web前端行业资讯
Web new NewsList
微软发布WindowsServerBuild17074更新 ,,2018年01月18日凭借一个AI小功能,这款Google应用冲上苹果AppStore榜首 ,,2018年01月18日百度数据可视化实验室正式成立,发布深度学习可视化平台VisualDL ,,2018年01月18日OpenAI开源最新工具包,模型增大10倍只需额外增加20%计算时间 ,,2018年01月18日百度手机输入法8.0正式发布:支持多人语音速记 ,,2018年01月18日CSDN宣布收购TinyMind团队并升级为AI社区 ,,2018年01月18日甲骨文发布补丁修复英特尔芯片漏洞造成的问题 ,,2018年01月18日权威!官方发布CPU熔断和幽灵漏洞防范指引:附补丁下载 ,,2018年01月18日Oracle宣布新的JavaChampions ,,2018年01月18日Fedora28壁纸征集活动现已开幕:将持续至2月13日 ,,2018年01月18日苹果WebKit团队发布Speedometer2.0网页响应测试工具 ,,2018年01月18日百度输入法8.0后天发布:全感官AI输入 ,,2018年01月18日腾讯和乐高合作:共同研发智能玩具、游戏 ,,2018年01月18日HomePod上市日益临近智能音箱市场吸引力越来越大 ,,2018年01月18日英特尔公布修补漏洞后PC性能数据:8代CPU影响最小 ,,2018年01月18日云存储公司Dropbox秘密提交IPO申请估值超百亿美元 ,,2018年01月18日iPod之父:防手机上瘾无技术难度苹果谷歌应承担责任 ,,2018年01月18日芯片不安全英特尔云客户考虑转用AMD等对手处理器 ,,2018年01月18日2018年Java展望 ,,2018年01月18日区块链有多火?快播流量矿石遭20多万人疯抢 ,,2018年01月18日Intel搞定神经拟态芯片:模拟人类大脑、自主学习 ,,2018年01月18日阿里巴巴发布IoTConnect开放连接协议,盼推动语音互动入口普及 ,,2018年01月18日区块链火了,全球大佬们怎么看? ,,2018年01月18日Facebook正测试新功能主推本地新闻资讯 ,,2018年01月18日在GooglePlay中发现使用Kotlin开发的安卓恶意软件 ,,2018年01月18日VisualStudio201715.6预览版本2,增加新功能 ,,2018年01月18日百度陆奇:AI是5G最好的加速器 ,,2018年01月18日PinterestCEO:不同于谷歌和Facebook,我们走了第三条路 ,,2018年01月18日腾讯加码区块链项目已悄然注册“以太锁”商标 ,,2018年01月18日3D打印脑组织?科学家正在向这一目标正在前进 ,,2018年01月18日androidapk反编译到java源码的实现方法2014年01月30日错误:【Selfreferencingloopdetectedwithtype】【移动开发】2015年08月29日Linux系统的安装和配置2014年01月29日iOS逆向工程软件有利于深层了解各个复杂项目的架构设计Reveal 【Web前端】2015年04月24日!codeforces399CCards-数论&贪心-(暴搜) 【综合】2015年07月24日【emerg】:bind()to0.0.0.0:80failed(98:Addressalreadyinuse)错误原因 【综合】2015年08月31日办公室养生小动作 【综合】2014年12月17日SSH三大框架整合原理 【编程语言】2015年04月13日ExtJs使用总结(非常详细)2014年01月29日DOM元素全屏显示解决方案(续) 【数据库】2014年12月01日UVa11995-ICanGuesstheDataStructure!【数据库】2015年03月16日JPA测试实例 【Web前端】2015年08月24日android代码混淆导致问题,快速定位 【移动开发】2015年05月29日求相对路径(来自2015年360实习笔试题)【移动开发】2015年08月07日Android广播接收短信的简单实现 【综合】2015年05月06日Android一个app启动另一个app 【编程语言】2015年05月25日跨平台的LaTex文档免费制作工具,Texmaker3.5发布 ,,2016年06月23日php中英文语言转换类代码2014年01月29日用FW制作漂亮的铅笔教程2014年01月28日CodeforcesRound#277.5(Div.2)【编程语言】2014年11月20日hihoCoder#1174:拓扑排序·一 【编程语言】2015年06月11日归并排序C语言实现 【互联网】2015年08月04日暑假要看的东西【综合】2015年07月20日读书笔记——IOS之Web开发 【架构设计】2015年04月03日一键安装ORACLE并建库脚本 【编程语言】2015年07月15日SVN的基本配置和常用命令 【综合】2015年05月28日网络视频传输协议--RTPRTCPRTSPSIPSDP之间关系 【互联网】2014年12月11日数组,异质结构以及指针的详解 【编程语言】2015年08月24日MySQL的常用命令【移动开发】2014年12月25日Java经典问题算法大全【互联网】2015年07月10日
我们保证
We guarantee
> psd效果文件手工切图,保证图片效果最好体积最小利于传输
> 100%手写的HTML(DIV+CSS)编码,绝对符合W3C标准
> 代码精简、css沉余量小、搜索引擎扫描迅速,网页打开快捷
> 应用Css Sprite能够减少HTTP请求数,提高网页性能
> 跨浏览器兼容(IE6、7、8、9,Firefox火狐,Chrome谷歌)