时间:2014-11-04 来源:

Solr4.10.1+tomcat7+zookeeper+HDFS集成(SolrCloud+HDFS)配置 【综合】

关于搭建solrCloud + zookeeper +HDFS的实践经验

<env-entry> <env-entry-name>solr/home</env-entry-name> <env-entry-value>/data0/solrcloud/multicore</env-entry-value> <env-entry-type>java.lang.String</env-entry-type> </env-entry>  

 

如果要添加扩展词典:

</fieldType>

4、        在zookeeper目录下建立data和 logs目录网页外包接活,同时将zookeeper目录下conf/zoo_simple.cfg文件复制一份成 zoo.cfg

 

3、        上传zookeeper-3.4.6.tar.gz到任意一台服务器/usr/local/目录,网页外包接活并解压到当前目录:zookeeper: tar –zxvf zookeeper-3.4.6.tar.gz                            改名:zookeeper-3.4.6为 zookeeper:mv  zookeeper-3.4.6   zookeeper

 

http://shiyanjun.cn/archives/100.html

需要自己建立的 solrcore.properties文件

5、        在建立一个装在配置文件的目录

cd/usr/local/zookeeper/

2、         创建在根目录下创建目录mkdir –p /data0/solrcloud    将solr目录移动到data0下,网页切图价格那么data0下包含两个目录{solr、solrcloud}

bin/zkServer.sh  start

<analyzertype="query"isMaxWordLength="true"class="org.wltea.analyzer.lucene.IKAnalyzer"/>

cp  /usr/local/tomcat/webapps/solr/WEB-INF/lib/*  /data0/solrcloud/solr-lib/

[root@host4zookeeper-3.3.6]# bin/zkServer.sh status JMXenabled by default Usingconfig: /home/hadoop/zookeeper-3.3.6/bin/../conf/zoo.cfg Mode:follower [root@host5/]# cd /home/hadoop/zookeeper-3.3.6/ [root@host5zookeeper-3.3.6]# bin/zkServer.sh status JMXenabled by default Usingconfig: /home/hadoop/zookeeper-3.3.6/bin/../conf/zoo.cfg Mode:leader [root@host3multicore]# cd /home/hadoop/zookeeper-3.3.6/ [root@host3zookeeper-3.3.6]# bin/zkServer.sh status JMXenabled by default Usingconfig: /home/hadoop/zookeeper-3.3.6/bin/../conf/zoo.cfg Mode:follower  

搭建zookeeper:

同时将 /data0/solr/ example/solr/collection1/conf/* 

 

</analyzer>

scp-r /usr/local/zookeeper <a target=_blank href="mailto:root@192.168.2.87:/usr/local/">root@192.168.2.87:/usr/local/</a> scp–r /usr/local/zookeeper <a target=_blank href="mailto:root@192.168.2.89:/usr/local/">root@192.168.2.89:/usr/local/</a>  

context.xml

添加这部分:

 

http://blog.csdn.net/shirdrn/article/details/9770829

scp –r /data0 root@192.168.2.89:/ scp –r /data0root@192.168.2.87:/ scp –r /usr/local/tomcat root@192.168.2.89:/usr/local/ scp –r /usr/local/tomcat root@192.168.2.87:/usr/local/ 启动三台服务器bin/startup.sh start

  

      

1、        到Apache官网下载solr安装文件 solr-4.10.1.tgz    http://mirror.bit.edu.cn/apache/lucene/solr/4.10.1/                            并解压tar –xvzf solr-4.10.1.tgz                                                         更改solr-4.10.1目录:mv solr-4.10.1 solr

 

Field会根据type的属性进行分词

 

<fieldTypename="ikanalyzer"class="solr.TextField">

编辑IKAnalyzer.cfg.xml 添加词典

solr.shard.data.dir=/data0/solrcloud/multicore/collection/data 说明:属性solr.shard.data.dir在solrconfig.xml文件中被引用过,div+css制作指定索引数据的存放位置.

Eg:  

 

7、        启动ZooKeeper集群,div+css报价host5.com:2181  

<tokenizerclass="solr.KeywordTokenizerFactory"/>

<directoryFactoryname="DirectoryFactory"class="solr.HdfsDirectoryFactory"> <span style="color:#ff0000;"><strname="solr.hdfs.home">hdfs://host1xyz.com:9000/solr</str> </span> <boolname="solr.hdfs.blockcache.enabled">true</bool> <int name="solr.hdfs.blockcache.slab.count">1</int> <boolname="solr.hdfs.blockcache.direct.memory.allocation">true</bool> <intname="solr.hdfs.blockcache.blocksperbank">16384</int> <boolname="solr.hdfs.blockcache.read.enabled">true</bool> <bool name="solr.hdfs.blockcache.write.enabled">true</bool> <boolname="solr.hdfs.nrtcachingdirectory.enable">true</bool> <intname="solr.hdfs.nrtcachingdirectory.maxmergesizemb">16</int> <intname="solr.hdfs.nrtcachingdirectory.maxcachedmb">192</int> <span style="color:#ff0000;"><str name="solr.hdfs.confdir">/home/hadoop/hadoop-2.2.0/etc/hadoop</str> </span> </directoryFactory>  

 

至此,html切图制作IKAnalyzer中文分词基本添加完成网页外包接活,更新下zookeeper的solr配置:

9、        Solrcloud的IK分词器的配置:

将example/solr/multicore 下的solr.xml 和zoo.cfg 复制到/data0/solrcloud/multicore 目录下 eg:

6、    拷贝zookeeper目录到另外两台服务器:                                                                    

2、        修改/data0/solrcloud/multicore/collection/conf/solrconfig.xml文件

之后修改multicore/collection/conf下的schema.xml文件

 

 

7、        在启动文件tomcat/bin/Catalina.sh中添加如下配置:

Host4.com   192.168.2.94

 

<analyzertype="index"isMaxWordLength="false"class="org.wltea.analyzer.lucene.IKAnalyzer"/>

复制到/data0/solrcloud/multicore/collection/conf 目录下

https://cwiki.apache.org/confluence/display/solr/Running+Solr+on+HDFS

注意:这时<dataDir>${solr.data.dir:}</dataDir>是这种状态,网页外包接活如果添加路径web前端制作,就会覆盖掉hdfs的路径

文件内容:

 

再找到

首先在solrcloud中的multicore/collection/下建立lib目录,web前端制作将IK分词器的配置文件最主要的就是IKAnalyzer.cfg.xml和 stopword.dic移动到lib下

http://blog.csdn.net/john_hongming/article/details/40080947

<lockType>${solr.lock.type:native}</lockType><span style="font-size:14px;"><span style="color:red;">将其修改为:</span></span><span style="font-size:14px;"><span style="color:red;"><span style="font-family:Tahoma;"><lockType>${solr.lock.type:hdfs}</lockType></span></span></span>  

http://blog.csdn.net/john_hongming/article/details/40113641

建立SolrCloud:

<analyzertype="multiterm">

 

6、        通过zookeeper管理配置文件:

1、        到zookeeper官网下载zookeeper(用于管理solrcloud云的配置文件)http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/

<p><span style="font-size:14px;"><span style="color:black;"><span style="font-family:Tahoma;">#</span></span><span style="color:black;">创建</span><span style="color:black;"><span style="font-family:Tahoma;">collection </span></span><span style="color:black;">分</span><span style="color:black;"><span style="font-family:Tahoma;">3</span></span><span style="color:black;">片</span><span style="color:black;">一个副本集</span><span style="color:black;"><span style="font-family:Tahoma;">##</span></span><span style="color:black;">创建三个分片承接网页制作,每个分片一个副本集</span><span style="color:black;"><span style="font-family:Tahoma;">#</span></span></span></p><p><span style="color:black;"><span style="font-family:Tahoma;font-size:14px;">curl </span></span>'http://192.168.2.89:8080/solr/admin/collections?action=CREATE&name=mycollection&numShards=3&replicationFactor=1'    </p><p><span style="color:black;"><span style="font-family:Tahoma;font-size:14px;"> </span></span></p><p><span style="font-size:14px;"><span style="color:black;"><span style="font-family:Tahoma;">#</span></span><span style="color:black;">创建</span><span style="color:black;"><span style="font-family:Tahoma;">shard </span></span><span style="color:black;">的副本</span><span style="color:black;"><span style="font-family:Tahoma;">  </span></span><span style="color:black;">在</span><span style="color:black;"><span style="font-family:Tahoma;">89</span></span><span style="color:black;">创建</span><span style="color:black;"><span style="font-family:Tahoma;">shard1</span></span><span style="color:black;">的副本集</span><span style="color:black;"><span style="font-family:Tahoma;">mycollection_shard1_replica_2#</span></span></span></p><p><span style="color:black;"><span style="font-family:Tahoma;font-size:14px;">curl'http://192.168.2.89:8080/solr/admin/cores?action=CREATE&collection=mycollection&name=mycollection_shard1_replica_2&shard=shard1'</span></span></p><p><span style="color:black;"><span style="font-family:Tahoma;font-size:14px;">curl'http://192.168.2.87:8080/solr/admin/cores?action=CREATE&collection=mycollection&name=mycollection_shard1_replica_3&shard=shard1'</span></span></p><p><span style="color:black;"><span style="font-family:Tahoma;font-size:14px;">curl'http://192.168.2.89:8080/solr/admin/cores?action=CREATE&collection=mycollection&name=mycollection_shard2_replica_2&shard=shard2'</span></span></p><p><span style="color:black;"><span style="font-family:Tahoma;font-size:14px;">curl'http://192.168.2.87:8080/solr/admin/cores?action=CREATE&collection=mycollection&name=mycollection_shard2_replica_3&shard=shard2'</span></span></p><p><span style="color:black;"><span style="font-family:Tahoma;font-size:14px;"> </span></span></p><p><span style="color:black;"><span style="font-family:Tahoma;font-size:14px;"> </span></span></p><p><span style="font-size:14px;"><span style="color:black;"><span style="font-family:Tahoma;">#</span></span><span style="color:black;">对</span><span style="color:black;"><span style="font-family:Tahoma;">shard1</span></span><span style="color:black;">再次在</span><span style="color:black;"><span style="font-family:Tahoma;">94</span></span><span style="color:black;">上</span><span style="color:black;"><span style="font-family:Tahoma;">shard #</span></span></span></p><p><span style="color:black;"><span style="font-family:Tahoma;font-size:14px;">curl'http://192.168.2.94:8080/solr/admin/collections?action=SPLITSHARD&collection=mycollection&shard=shard1'</span></span></p><p> </p><p> </p><p> </p><p><strong><span style="font-size:14px;"><span style="color:black;">集成</span><span style="color:black;"><span style="font-family:Tahoma;">HDFS</span></span></span></strong></p> 1、         编辑/usr/local/tomcat/bin/catlina.sh 添加红色部分

3、        将/data0/solr/example/webapps/solr.war放到tomcat的webapps目录下,div前端切图启动tomcat,data}  

 

java -classpath .:/usr/local/solrcloud/solr-lib/*org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost 192.168.3.119:2181,192.168.3.127:2181 -confdir/usr/local/solrcloud/multicore/collection/conf -confname myconf  

 

4、        将/data0/solr/example/lib/ext/下的所有的jar文件复制到tomcat/webapps/solr/WEB-INF/lib/下网页外包接活,solr-lib}目录web前端制作, /tmp hereis just # example sakes. dataDir=/usr/local/zookeeper/data # the port at which the clients willconnect clientPort=2181 # the maximum number of clientconnections. # increase this if you need to handle moreclients #maxClientCnxns=60 # # Be sure to read the maintenance sectionof the # administrator guide before turning onautopurge. # #http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain indataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable autopurge feature #autopurge.purgeInterval=1 dataLogDir=/usr/local/zookeeper/logs server.1=192.168.2.89:2888:3888 server.2=192.168.3.87:2888:3888 server.3=192.168.3.94:2888:3888  

 

8、        修改tomcat/webapps/solr/WEB-INF/web.xml

 

Host5.com   192.168.2.89

 

添加:

http://blog.csdn.net/john_hongming/article/details/40181451

8、  可以查看ZooKeeper集群的状态承接网页制作,保证集群启动没有问题:分别查看每台服务器的zookeeper状态 zookeeper#bin/zkServer.shstatus查看那些是following那个是leader

<env-entry> <env-entry-name>solr/home</env-entry-name> <env-entry-value>/data0/solrcloud/multicore</env-entry-value> <env-entry-type>java.lang.String</env-entry-type> </env-entry>  

5、        修改zoo.cfg  

2、        准备三台服务器,兼职手机网页制作或者搭建3台虚拟机:                                                 例如:host3.com   192.168.2.87    

#配置tomcat/bin/catlina.sh下的启动参数# JAVA_OPTS="-server -Xmx2048m-Xms1024m -verbose:gc -Xloggc:solr_gc.log -Dsolr.solr.home=/data0/solrcloud/multicore -DzkHost=host3.com:2181,host5.com:2181"  

JAVA_OPTS="-server-Xmx2048m -Xms1024m -verbose:gc -Xloggc:solr_gc.log <span style="color:#ff0000;">-XX:MaxDirectMemorySize=1g -Dsolr.directoryFactory=HdfsDirectoryFactory-Dsolr.lock.type=hdfs -Dsolr.hdfs.home=hdfs://host1xyz.com:9000/solr </span>-Dsolr.solr.home=/data0/solrcloud/multicore-DzkHost=host3.com:2181,host5.com:2181"

点击次数:18481
作者:
web前端行业资讯
Web new NewsList
微软发布WindowsServerBuild17074更新 ,,2018年01月18日凭借一个AI小功能,这款Google应用冲上苹果AppStore榜首 ,,2018年01月18日百度数据可视化实验室正式成立,发布深度学习可视化平台VisualDL ,,2018年01月18日OpenAI开源最新工具包,模型增大10倍只需额外增加20%计算时间 ,,2018年01月18日百度手机输入法8.0正式发布:支持多人语音速记 ,,2018年01月18日CSDN宣布收购TinyMind团队并升级为AI社区 ,,2018年01月18日甲骨文发布补丁修复英特尔芯片漏洞造成的问题 ,,2018年01月18日权威!官方发布CPU熔断和幽灵漏洞防范指引:附补丁下载 ,,2018年01月18日Oracle宣布新的JavaChampions ,,2018年01月18日Fedora28壁纸征集活动现已开幕:将持续至2月13日 ,,2018年01月18日苹果WebKit团队发布Speedometer2.0网页响应测试工具 ,,2018年01月18日百度输入法8.0后天发布:全感官AI输入 ,,2018年01月18日腾讯和乐高合作:共同研发智能玩具、游戏 ,,2018年01月18日HomePod上市日益临近智能音箱市场吸引力越来越大 ,,2018年01月18日英特尔公布修补漏洞后PC性能数据:8代CPU影响最小 ,,2018年01月18日云存储公司Dropbox秘密提交IPO申请估值超百亿美元 ,,2018年01月18日iPod之父:防手机上瘾无技术难度苹果谷歌应承担责任 ,,2018年01月18日芯片不安全英特尔云客户考虑转用AMD等对手处理器 ,,2018年01月18日2018年Java展望 ,,2018年01月18日区块链有多火?快播流量矿石遭20多万人疯抢 ,,2018年01月18日Intel搞定神经拟态芯片:模拟人类大脑、自主学习 ,,2018年01月18日阿里巴巴发布IoTConnect开放连接协议,盼推动语音互动入口普及 ,,2018年01月18日区块链火了,全球大佬们怎么看? ,,2018年01月18日Facebook正测试新功能主推本地新闻资讯 ,,2018年01月18日在GooglePlay中发现使用Kotlin开发的安卓恶意软件 ,,2018年01月18日VisualStudio201715.6预览版本2,增加新功能 ,,2018年01月18日百度陆奇:AI是5G最好的加速器 ,,2018年01月18日PinterestCEO:不同于谷歌和Facebook,我们走了第三条路 ,,2018年01月18日腾讯加码区块链项目已悄然注册“以太锁”商标 ,,2018年01月18日3D打印脑组织?科学家正在向这一目标正在前进 ,,2018年01月18日关于项目维护 【综合】2014年12月18日开源镜像站一些地址和寻找方法【编程语言】2015年05月11日Java编写自定义标签2015年01月30日Android插件化开发之解决OpenAtlas组件在宿主的注册问题 【综合】2015年08月24日Ndk开发笔记【编程语言】2014年12月25日Node.js开发入门—Angular简单示例 【综合】2015年08月15日hammer.js实现移动端的拖放效果 【研发管理】2015年05月13日Zendstudioforeclipse中使php可以调用mysql相关函数的设置方法2014年01月29日对frameset、frame、iframe的js操作示例代码2014年01月29日ubuntuMySQL使用 【编程语言】2015年07月27日android学习十二(android的ContentProvider(内容提供器)的使用) 【Web前端】2014年11月17日linux中绑定80端口失败 【编程语言】2015年01月07日C++红旗之更短形式:500多字符且无法遵守原题规则 【移动开发】2015年06月17日说说这些年做的云计算和大数据项目 【移动开发】2015年06月11日zookeeper在单机上伪集群测试时,出现UnabletostartAdminServer,exitingabnormally 【互联网】2014年12月09日CodeForces482CGamewithStrings 【移动开发】2014年11月04日数学之美之TF-IDF算法 【编程语言】2015年05月11日android开发教程之handler异步更新ui2014年01月30日PowerBuilder窗口设计 【编程语言】2015年03月09日7.Laravel5学习笔记:如何定义自己的视图组件 【编程语言】2015年07月06日R语言学习资源【综合】2014年12月10日一个符号插入器中用到的js代码2014年01月29日网站优化教程(2):重要的HTML元素2014年01月28日微信支付之转换短链接2015年01月30日Illustrator图表工具详解(7)2014年01月28日【java】文件操作 【编程语言】2015年06月25日客户管理系统之模块设计(四) 【数据库】2015年06月03日Chrome浏览器无法将网页中的图片保存到本地的问题 【综合】2015年03月11日POJ2141MessageDecowding水 【编程语言】2015年08月14日脚本吧-幻宇工作室用到js,超强推荐expand.js2014年01月29日
我们保证
We guarantee
> psd效果文件手工切图,保证图片效果最好体积最小利于传输
> 100%手写的HTML(DIV+CSS)编码,绝对符合W3C标准
> 代码精简、css沉余量小、搜索引擎扫描迅速,网页打开快捷
> 应用Css Sprite能够减少HTTP请求数,提高网页性能
> 跨浏览器兼容(IE6、7、8、9,Firefox火狐,Chrome谷歌)