时间:2015-09-01 来源:

Spark-1.4.0单机部署(Hadoop-2.6.0采用伪分布式)【已测】 【移动开发】

??目前手上只有一个机器网页外包接活,就先拿来练下手(事先服务器上没有安装软件)尝试一下Spark的单机部署. ??几个参数: ??JDK-1.7+ ??Hadoop-2.6.0(伪分布式); ??Scala-2.10.5; ??Spark-1.4.0; ??下面是具体的配置过程

本地模式

安装 protobuf-2.5.0.tar.gz

检查是否安装成功 mvn -v 安装ant1.8+ 【下载网址】http://archive.apache.org/dist/ant/binaries/

写一个简单的shell准备数据,网页外包接活 1)).reduceByKey(_+_) scala> count.sortBy(_._2).map(x => x._1 + "\t" + x._2).saveAsTextFile("hdfs://localhost:9000/user/hadoop/datatest/numCount") 执行hadoop相关操作命令:(hadoop/bin/) ./hadoop fs -cat hdfs://localhost:9000/user/hadoop/datatest/numCount/p*|sort -k2n 测试结果如下:

./spark-submit --class org.apache.spark.examples.SparkPi --master spark://127.0.0.1:7077 ../lib/spark-examples-1.4.0-hadoop2.6.0.jar 100 yarn测试(cluster模式和client模式) 【注意】*.jar的路径

$ tar -zxf scala-2.10.5.tgz $ sudo mv scala-2.10.5 /usr/local 配置环境变量: export SCALA_HOME=/usr/local/scala-2.11.4 export PATH=$SCALA_HOME/bin:$PATH 更新启动环境变量 source /etc/profile 测试scala安装是否成功 $ scala -version

安装snappy1.1.0.tar.gz(可选选项,div+css制作如果需要编译完的Hadoop支持Snappy压缩,div+css报价需要此步骤) 安装 ./configure --prefix=/usr/local/snappy #指定的一个安装目录 make make install 安装hadoop-snappy git下载地址 git clone https://github.com/electrum/hadoop-snappy.git 打包 下载完成后 cd hadoop-snappy 执行maven打包命令 mvn package -Dsnappy.prefix=/home/search/snappy 验证 ?这个目录就是编译后的snappy的本地库,兼职手机网页制作在 hadoop-snappy/target/hadoop-snappy-0.0.1-SNAPSHOT-tar/hadoop-snappy-0.0.1-SNAPSHOT/lib目录下,html静态页面制作在hadoop编译后,psd转html需要拷贝到$HADOOP_HOME/lib目录下. ?【备注】整个过程中使用到的包都放在/root/下面. 安装Hadoop 安装(下载hadoop-2.6.0-src.tar.gz是hadoop的源码) 【下载网址】http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/ 【也可以直接获取】wget http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.4.1-src.tar.gz 解压 tar -zxvf hadoop-2.6.0-cdh5.4.1-src.tar.gz 解压后进入根目录,html切图制作执行下面这个编译命令网页外包接活,就能把snappy库绑定到hadoop的本地库里面,网页外包接活这样就可以在所有的机器上跑了 mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=(hadoop-snappy里面编译后的库地址) -Dbundle.snappy ?中间会报一些异常,web前端制作无须关心承接网页制作,如果报异常退出了,div前端切图就继续执行上面这个命令web切图报价,直到成功为止,web切图报价一般速度会跟你的网速有关系符合w3c标准,大概40分钟左右,符合w3c标准最后会编译成功. 【最终选择】安装Hadoop(无需修改Hadoop时直接下载编译好的Hadoop文件)

export JAVA_HOME=/usr/java/java-1.7.0_71 export JRE_HOME=$JAVA_HOME/jre export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 更新重启环境变量 $ source /etc/profile

【亲测】安装Hadoop(需要修改Hadoop的情况下网页外包接活,手动编译) 【安装Hadoop的参考网址】http://qindongliang.iteye.com/blog/2222145

配置完成后,jpg或psd转html执行 namenode 的格式化: bin/hdfs namenode -format 成功的话web前端制作,会看到successfully formatted的提示,web前端制作且输出信息的倒数第5行的提示如下承接网页制作,Exitting with status 0 表示成功,兼职手机网页制作若为 Exitting with status 1 则是出错.若出错web切图报价, 既 sudo bin/hdfs namenode -format 再试试看. 开启NameNode、DataNode守护进程 sbin/start-dfs.sh 【注意】若你使用的是 Hadoop 2.4.1 64位符合w3c标准,则此时可能会出现一连串的warn提示,符合w3c标准如 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 这个提示网页外包接活,这些warn提示可以忽略,网页外包接活不会影响正常使用. 查看进程 输入jps即可 成功启动则会列出如下进程: NameNode、DataNode和SecondaryNameNode Hadoop-webUI 在浏览器中输入http://localhost:50070(localhost或者是服务器ip) 【注意】如无法访问web前端制作,先检查防火墙是否是关闭状态(应当是关闭状态). 注意(配置过程中遇到) 在这一步以及后面启动 Hadoop 时若提示 Error: JAVA_HOME is not set and could not be found. 的错误,div+css制作则需要在文件 hadoop/etc/hadoop/hadoop-env.sh 中设置 JAVA_HOME 变量承接网页制作,即找到 export JAVA_HOME=${JAVA_HOME} 这一行,兼职手机网页制作改为 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 (就是之前设置的JAVA_HOME位置),"Monday","Wednesday","Friday", Monday, Wednesday, Friday,ncurses-devel bzip2-devel 安装Maven3.0+ 【下载网址】http://archive.apache.org/dist/maven/maven-3/3.0.5/binaries/

解压 tar xvf protobuf-2.5.0.tar.gz 安装 cd protobuf-2.5.0 ./configure --prefix=/usr/local/protobuf make nake install 环境变量

测试 $ java -version 下载安装scala-2.10.5 【下载网址】http://www.scala-lang.org/download/2.10.5.html 下载对对对应的压缩包

<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> 修改配置文件 hdfs-site.xml(同理) <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration> 【注意】不说明的话都是目录的起始位置都是:hadoop/

export PATH=$PATH:/usr/local/protobuf/bin export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/protobuf/lib 测试 protoc --version 如果输出libprotoc 2.5.0表示安装成功.

./spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster ../lib/spark-examples*.jar 10 http://localhost:8088/(localhost可以是服务器地址) ./spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client ../lib/spark-examples*.jar 10 访问localhost:8088结果如下: 数据测试

MAVEN_HOME=/usr/local/apache-maven-3.0.5 export MAVEN_HOME export PATH=${PATH}:${MAVEN_HOME}/bin 使生效 source /etc/profile

安装(下载已经编译好的hadoop-2.6.0.tar.gz) 【下载网址】http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/ 解压安装在/usr/local/ 改名为hadoop,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml. 修改配置文件 core-site.xml (vim /usr/local/hadoop/etc/hadoop/core-site.xml) 将当中的 <configuration> </configuration> 修改为下面配置:

环境变量

安装JDK 1.7+ 【下载网址】http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

解压 tar -xvf apache-maven-3.0.5-bin.tar.gz 移动文件 mv -rf apache-maven-3.0.5 /usr/local/ 配置环境变量

环境变量设置(最好不要采用openjdk):

SparkR安装 SparkR遵循Apache 2.0 License,除了要求用户在他们机器上安装R和Java之外,web前端制作不需要依赖任何外部的东西! ??【注意】在编译Spark的时候承接网页制作,可以在编译时候加上-PsparkRMaven配置属性.如果使用下载的编译好的Spark应该就没有这样的问题. 【下载网站】 http://cran.r-project.org/src/base/R-3 解压安装 ./configure --prefix=/usr/local/R make && make install 设置环境变量 export R_HOME=/usr/local/R export PATH=$R_HOME:$PATH 安装R之后(已经安装了java)就可以了.进入spark/bin执行sparkR即可进入sparkR状态.如下: $(function () { $('pre.prettyprint code').each(function () { var lines = $(this).text().split('\n').length; var $numbering = $('').addClass('pre-numbering').hide(); $(this).addClass('has-numbering').parent().append($numbering); for (i = 1; i ').text(i)); }; $numbering.fadeIn(1700); }); }); 版权声明:本文为博主原创文章web切图报价,未经博主允许不得转载.

点击次数:9720
作者:
web前端行业资讯
Web new NewsList
英特尔宣布与法拉利跨界合作欲将AI技术用于赛车运动 ,,2018年01月11日甲骨文服务器出漏洞:攻击者用漏洞挖矿获取加密货币 ,,2018年01月11日用深度学习设计图像视频压缩算法:更简洁、更强大 ,,2018年01月11日Ubuntu内核和NVIDIA更新:修复Meltdown和Spectre两处漏洞 ,,2018年01月11日AntDesign3.1.1发布,阿里企业级UI设计语言 ,,2018年01月11日微信「跳一跳」带火小游戏,开发者如何快速上手? ,,2018年01月11日谷歌公布最新安卓系统份额:你用上奥利奥了么? ,,2018年01月11日腾讯开发出“3D音效”算法:普通耳机实现3D实时语音效果 ,,2018年01月11日谷歌工程师点赞中国程序员实现Node.js启动超4倍提速 ,,2018年01月11日三星电子总裁兼CE部门负责人金炫奭:万物互联时代到来 ,,2018年01月11日NVIDIA和大众合作建立智能驾驶助手 ,,2018年01月11日GIMPS项目报告发现已知最大素数 ,,2018年01月11日微软与生物技术公司开展AI驱动的血液检测同时诊断数十种疾病 ,,2018年01月11日微软跨平台移动开发工具套件HockeyApp宣布免费 ,,2018年01月11日《硅谷》里神乎其神的压缩技术,AI正在一点点做出来 ,,2018年01月11日LinuxMint19代号敲定为“Tara”预计2018年5月至6月期间发布 ,,2018年01月11日Facebook发布wav2letter工具包,用于端到端自动语音识别 ,,2018年01月11日开源数据库ArangoDB正进行约1156万美元股权融资 ,,2018年01月11日IntelCPU漏洞闹大:腾讯云紧急升级 ,,2018年01月11日2018年1月全球数据库排名:Redis夺回第八 ,,2018年01月11日Lyft将联手无人驾驶公司于CES上展示无人驾驶汽车 ,,2018年01月11日京东X无人超市首家社会门店开业:刷脸进、微信自动结算 ,,2018年01月11日担心被AI取代是杞人忧天?高晓松跨年演讲说的有几分对 ,,2018年01月11日免费授权技术许可Intel宣布在未来CPU中集成雷电3 ,,2018年01月11日算法决定你在社交媒体上看到的信息 ,,2018年01月11日谷歌安全博客披露“英特尔内核漏洞”更多细节 ,,2018年01月04日Postgres10开发者新特性 ,,2017年12月28日阿里巴巴、狗尾草、苏大联合论文:基于对抗学习的众包标注用于中文命名实体识别 ,,2017年12月28日柯洁的2017:20岁,与AI斗与人类斗,其乐无穷 ,,2017年12月28日如果机器人拥有痛觉,这个世界会有哪些不一样? ,,2017年12月28日OfflineSave离线保存代码再次发布使用说明2014年01月29日计算指数函数的算法【云计算】2015年08月03日ASP应用程序2014年01月28日Python命令行非阻塞输入的小例子2014年01月29日Triangle 【综合】2015年01月07日解决perl编译问题【编程语言】2015年03月12日BZOJ2982combinationLucas定理 【移动开发】2015年01月24日Swift与Objective-C混合编程【综合】2014年11月24日JustaHook(线段树之点的成段更新) 【编程语言】2015年02月15日【算法设计与分析】6、最大字段和 【编程语言】2014年12月09日如何用Cookie进行登录验证?2014年01月29日Java的List和Map作为入参与clone 【编程语言】2015年07月13日aspjavascript在线管理2014年01月29日Java中string创建对象时“”和null的区别 【架构设计】2015年08月15日通过代码自定义cell(cell的高度不一致) 【Web前端】2015年03月03日codeforces571ALengtheningSticks【综合】2015年08月26日应用程序无法正常启动0xc000007b解决方法2016年11月22日ColoredSticks【编程语言】2015年08月28日兔子--R.java丢失原因及解决办法 【编程语言】2014年11月24日有一个长度不大于40的字符串,已知其中包含两个字符‘A',求处于这两个字符之间的字符的个数,并把这些字符依次打印出来【移动开发】2015年05月18日28种CSS3炫酷加载动画特效 【编程语言】2015年04月01日九度OJ1008-最短路径问题之dijkstra算法的理解与实现 【编程语言】2015年03月24日鼠标放上去Div旋转特效代码 【移动开发】2015年06月11日好记性不如烂笔头78-多线程-非static的synchronized的影响范围 【编程语言】2015年04月07日基于Node.js和express的日志服务器【Web前端】2014年11月27日Unity换装的实现2015年03月11日php面向对象全攻略(十)finalstaticconst关键字的使用2014年01月29日c语言链表基本操作(带有创建链表删除打印插入)2014年01月30日cocos2d-x3.0CPP项目添加TestinCrash【互联网】2015年08月05日【MongoDB】mongodumpandmongorestoreofmogodb 【数据库】2014年11月04日
我们保证
We guarantee
> psd效果文件手工切图,保证图片效果最好体积最小利于传输
> 100%手写的HTML(DIV+CSS)编码,绝对符合W3C标准
> 代码精简、css沉余量小、搜索引擎扫描迅速,网页打开快捷
> 应用Css Sprite能够减少HTTP请求数,提高网页性能
> 跨浏览器兼容(IE6、7、8、9,Firefox火狐,Chrome谷歌)