时间:2015-05-20 来源:

在Windows上使用Eclipse配置HadoopMapReduce开发环境 【移动开发】

在Windows上使用Eclipse配置Hadoop MapReduce开发环境 1. 系统环境及所需文件 windows 8.1 64bit Eclipse (Version: Luna Release 4.4.0) hadoop-eclipse-plugin-2.7.0.jar hadoop.dll & winutils.exe 2. 修改Master节点的hdfs-site.xml 添加如下内容

hdfs://Master:9000/input hdfs://Master:9000/output (注意:如果output目录已经存在div+css+js切图,则删掉或换个名字,div+css+js切图如output01, F:\DevTools\hadoop-2.6.0-cdh5.4.1\src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples\WordCount.java) 2.java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)异常问题

5. windows下运行环境配置 将下载下来的hadoop.dll,winutils.exe拷贝到$HADOOP_HOME/bin目录下

<property> <name>dfs.permissions</name> <value>false</value> </property> 旨在取消权限检查,手机div+css原因是为了解决我在windows机器上配置eclipse连接hadoop服务器时web外包,配置map/reduce连接后报以下错误,web外包org.apache.hadoop.security.AccessControlException: Permission denied:

7. 运行结果

修改Master节点中hadoop-2.6.0-cdh5.4.1\src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio\NativeIO.java 然后在/src/hadoop-common-project/hadoop-common目录下 用maven重新编译jar包 mvn package -Pdist,native -DskipTests -Dtar -e -X 编译完成后会在hadoop-common/target生成相应的jar包只需要用hadoop-common-2.6.0-cdh5.4.1.jar替换掉windows下$HADOOP_HOME\share\hadoop\common目录对应的jar包

3. 配置Hadoop插件 将下载的hadoop-eclipse-plugin-2.7.0.jar文件放到Eclipse的plugins目录下,div页面重启Eclipse即可看到该插件已生效 创建New hadoop location, Eclipse菜单栏Window -> Show View -> Other MapReduce Tools -> Map/Reduce Locations 3. 配置完毕,div+css+js切图查看效果

6. 运行WordCount Project 在eclipse中点击WordCount.java,右键,承接网站前端点击Run As—>Run Configurations,配置运行参数,承接网页制作即输入和输出文件夹

$(function () { $('pre.prettyprint code').each(function () { var lines = $(this).text().split('\n').length; var $numbering = $('').addClass('pre-numbering').hide(); $(this).addClass('has-numbering').parent().append($numbering); for (i = 1; i ').text(i)); }; $numbering.fadeIn(1700); }); });

点击次数:2303
作者:
web前端行业资讯
Web new NewsList
英特尔宣布与法拉利跨界合作欲将AI技术用于赛车运动 ,,2018年01月11日甲骨文服务器出漏洞:攻击者用漏洞挖矿获取加密货币 ,,2018年01月11日用深度学习设计图像视频压缩算法:更简洁、更强大 ,,2018年01月11日Ubuntu内核和NVIDIA更新:修复Meltdown和Spectre两处漏洞 ,,2018年01月11日AntDesign3.1.1发布,阿里企业级UI设计语言 ,,2018年01月11日微信「跳一跳」带火小游戏,开发者如何快速上手? ,,2018年01月11日谷歌公布最新安卓系统份额:你用上奥利奥了么? ,,2018年01月11日腾讯开发出“3D音效”算法:普通耳机实现3D实时语音效果 ,,2018年01月11日谷歌工程师点赞中国程序员实现Node.js启动超4倍提速 ,,2018年01月11日三星电子总裁兼CE部门负责人金炫奭:万物互联时代到来 ,,2018年01月11日NVIDIA和大众合作建立智能驾驶助手 ,,2018年01月11日GIMPS项目报告发现已知最大素数 ,,2018年01月11日微软与生物技术公司开展AI驱动的血液检测同时诊断数十种疾病 ,,2018年01月11日微软跨平台移动开发工具套件HockeyApp宣布免费 ,,2018年01月11日《硅谷》里神乎其神的压缩技术,AI正在一点点做出来 ,,2018年01月11日LinuxMint19代号敲定为“Tara”预计2018年5月至6月期间发布 ,,2018年01月11日Facebook发布wav2letter工具包,用于端到端自动语音识别 ,,2018年01月11日开源数据库ArangoDB正进行约1156万美元股权融资 ,,2018年01月11日IntelCPU漏洞闹大:腾讯云紧急升级 ,,2018年01月11日2018年1月全球数据库排名:Redis夺回第八 ,,2018年01月11日Lyft将联手无人驾驶公司于CES上展示无人驾驶汽车 ,,2018年01月11日京东X无人超市首家社会门店开业:刷脸进、微信自动结算 ,,2018年01月11日担心被AI取代是杞人忧天?高晓松跨年演讲说的有几分对 ,,2018年01月11日免费授权技术许可Intel宣布在未来CPU中集成雷电3 ,,2018年01月11日算法决定你在社交媒体上看到的信息 ,,2018年01月11日谷歌安全博客披露“英特尔内核漏洞”更多细节 ,,2018年01月04日Postgres10开发者新特性 ,,2017年12月28日阿里巴巴、狗尾草、苏大联合论文:基于对抗学习的众包标注用于中文命名实体识别 ,,2017年12月28日柯洁的2017:20岁,与AI斗与人类斗,其乐无穷 ,,2017年12月28日如果机器人拥有痛觉,这个世界会有哪些不一样? ,,2017年12月28日黑马day07登录注册案例(一) 【系统运维】2015年06月29日莱恩6878棋牌游戏程序源码下载完整无错网狐免费下载 【编程语言】2015年06月03日POJ1753BFS+状压【移动开发】2015年04月28日Android2.3拨号上网流程从源码角度进行分析2014年01月30日html5离屏canvas的应用 【移动开发】2015年07月29日【工业串口和网络软件通讯平台(SuperIO)教程】六.二次开发导出数据驱动【编程语言】2015年08月14日gluperspective和glFrustum函数的比较【编程语言】2015年01月13日PHP类连贯操作的实现方法 【移动开发】2015年05月13日分层遍历二叉树 【编程语言】2015年05月11日POJ1163TheTriangle2015年08月17日倒排文件(一) 【移动开发】2015年05月28日深入理解php的MySQL连接类2014年01月29日logfileswitch(checkpointincomplete)的问题定位【云计算】2015年07月01日STL源码剖析——stack的实现原理和使用方法详解 【Web前端】2015年08月27日java多线程(四)synchronized关键字修饰方法 【研发管理】2015年08月27日IOS网络开发NSURLSession(四)UploadTask(上传数据+图片) 【系统运维】2015年04月03日D-DoingHomeworkHDU1074(动态规划+状态压缩)【编程语言】2015年04月24日WPS2012表格:轻松处理表格重复值2014年01月28日Windows下安装Memcached的步骤说明2014年01月29日hdu5384Danganronpa(字典树) 【综合】2015年08月14日自定义的地址选择器(UIPickView),功能是:选择省后,其下的城市都会出现,2015年01月09日有效地加载大尺寸位图(LoadingLargeBitmapsEfficiently) 【移动开发】2015年03月09日Javascript读书笔记索引贴2014年01月29日hiho一下第三十周小Hi小Ho的惊天大作战:扫雷·一【移动开发】2015年02月04日HDOJ5288OO’sSequence水【Web前端】2015年07月28日windowsphone10(wp10)操作系统抢先版初体验【编程语言】2015年04月17日MVC下autocomplete插件的使用 【编程语言】2014年12月25日GOLDENGATE安装配置与复制流搭建_DG端抽取支持DDL版 【编程语言】2015年02月11日常用服务器软件nginx、jvm、centOS网络环境等配置【编程语言】2015年01月07日音视频通讯技术视频二次开发方案 【架构设计】2014年12月29日
我们保证
We guarantee
> psd效果文件手工切图,保证图片效果最好体积最小利于传输
> 100%手写的HTML(DIV+CSS)编码,绝对符合W3C标准
> 代码精简、css沉余量小、搜索引擎扫描迅速,网页打开快捷
> 应用Css Sprite能够减少HTTP请求数,提高网页性能
> 跨浏览器兼容(IE6、7、8、9,Firefox火狐,Chrome谷歌)