2007-10-10
分布式系统之分
关键字: 分布式设计数据达到一定规模,一台机器不能满足你要求,也许你该考虑分布式。
那么如何分,分的合理。
我觉得可以从这几方面考虑:
1: 业务
2: 效率
3: 余
业务:不同业务会有不一样的划分。举个简单例子,比如我有博客和mp3搜索两部分,这两者对于业务而言,是两个独立部分。那么将博客的索引放在一起,mp3的索引放在一起。
效率:程序设计,操作系统和硬件资源结合。合理使用硬件资源是重点。常见的mysql的isam+innodb的搭配。
余:通常它是在前面两者都不能分的时候才会用到。将资源划分成n分,采用余的方式,将资源划分。
复杂的分布式是这几种结合。分布式的好坏将决定你整个系统的扩展,稳定,效率。
评论
imjl
2007-10-15
ryq1 1 小时前
如果将资源分成N份,搜索效率接近于N个单个文件哦。
如果你是串行处理,,你这句话对的。
并行处理就不是这么计算的。
你硬件什么情况,索引文件几个。
以前有人和我介绍过.net,,好像是开daemon和web service来做的。
你开了几个daemon。。
索引后有没有commit和optimize。
lucene是什么版本,,还是1.4吗?
把这些信息发到圈子的论坛把。。。这样大家都能看到。有类似情况的也能帮到你。
不要给我pm。
如果将资源分成N份,搜索效率接近于N个单个文件哦。
如果你是串行处理,,你这句话对的。
并行处理就不是这么计算的。
你硬件什么情况,索引文件几个。
以前有人和我介绍过.net,,好像是开daemon和web service来做的。
你开了几个daemon。。
索引后有没有commit和optimize。
lucene是什么版本,,还是1.4吗?
把这些信息发到圈子的论坛把。。。这样大家都能看到。有类似情况的也能帮到你。
不要给我pm。
ryq1
2007-10-15
如果将资源分成N份,搜索效率接近于N个单个文件哦。
还有,为了要用权重,我现在一次搜4个字段。
我的环境如下:
Lucene.net 2.0
1000万的数据量
索引文件有4G左右。
现在搜一个数据要5秒左右。很是郁闷,都不知要如何改进了。
http://search.cfp.cn
"足球"
qq:5192412
Msn:ryqbl@hotmail.com
希望各位能经点指导。
还有,为了要用权重,我现在一次搜4个字段。
我的环境如下:
Lucene.net 2.0
1000万的数据量
索引文件有4G左右。
现在搜一个数据要5秒左右。很是郁闷,都不知要如何改进了。
http://search.cfp.cn
"足球"
qq:5192412
Msn:ryqbl@hotmail.com
希望各位能经点指导。
发表评论
提醒: 该博客已发表在公共论坛,博客所有留言会成为论坛回贴,留言请注意遵守论坛发贴规则
- 浏览: 71003 次
- 性别:

- 来自: 上海

- 详细资料
搜索本博客
我的相册
robot
共 1 张
共 1 张
最新评论
-
中国内地高学历技术工程师 ...
还是知识分子那点自尊心在作怪 总觉得自己应该高人一等=_=
-- by 叶子 -
中国内地高学历技术工程师 ...
我个人才毕业没几年,我的朋友同学中,最好的一个 ,是没有上大学,自己做生意了,还 ...
-- by allenjiang -
中国内地高学历技术工程师 ...
jsyx 写道lmlh8686 写道难道做技术真的很悲惨吗? 惨不惨的来自于你 ...
-- by 姜太公 -
中国内地高学历技术工程师 ...
lmlh8686 写道难道做技术真的很悲惨吗? 惨不惨的来自于你的内心,不来自 ...
-- by jsyx -
中国内地高学历技术工程师 ...
难道做技术真的很悲惨吗?
-- by lmlh8686






评论排行榜