最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501
当前位置: 首页 - 科技 - 知识百科 - 正文

hbase优化相关参数说明

来源:懂视网 责编:小采 时间:2020-11-09 07:33:13
文档

hbase优化相关参数说明

hbase优化相关参数说明:1、hbase.regionserver.handler.count RegionServers处理远程请求的线程数,如果注重TPS,可以调大,默认10 note1:设得越大,意味着内存开销变大,hbase.client.write.buffer * hbase.regionserver.handler.count,h
推荐度:
导读hbase优化相关参数说明:1、hbase.regionserver.handler.count RegionServers处理远程请求的线程数,如果注重TPS,可以调大,默认10 note1:设得越大,意味着内存开销变大,hbase.client.write.buffer * hbase.regionserver.handler.count,h

1、hbase.regionserver.handler.count RegionServers处理远程请求的线程数,如果注重TPS,可以调大,默认10 note1:设得越大,意味着内存开销变大,hbase.client.write.buffer * hbase.regionserver.handler.count,hbase.client.write.buffer默认大小为2M n

1、hbase.regionserver.handler.count

RegionServers处理远程请求的线程数,如果注重TPS,可以调大,默认10 note1:值设得越大,意味着内存开销变大,hbase.client.write.buffer * hbase.regionserver.handler.count,hbase.client.write.buffer默认大小为2M note2: 对于提高write的速度,如果瓶颈在做flush、compact、split的速度,磁盘io跟不上,提高线程数,意义不大。

2、hfile.block.cache.size

默认0.25,hfile/StoreFile的最大读缓存空间,所占堆空间比例。 note1:参数设定根据应用场景,如果读比写多,建议调大,读写平衡,建议设成0.3,如果读少于写,建议调小 note2:block.cache.size memstore limits 这些内存加起来不要超过60%。因为剩余的内存还要用来做其他事情。否则容易OOM。

3、hbase.regionserver.global.memstore.upperLimit

默认0.4,memstores所占最大堆空间比例,如果达到上限,阻塞更新,强制flush数据

4、hbase.regionserver.global.memstore.lowerLimit

默认0.35,menstores达到上限,做flush,知道memstores降到该值,停止flush。

5、hbase.hstore.blockingStoreFiles

默认7,如果一个hstore里面storefile超过这个数字(每次memstore做flush时会生成一个hstore),会阻塞相应hregion的更新,知道一个compact压缩过程结束,或者阻塞时间超过hbase.hstore.blockingWaitTime(默认90s) note1:hbase.hstore.compactionThreshold,默认3,如果一个hstore里面的storefile数量超过这个数字,一个压缩任务会启动,将所有的storefile合并成一个。如果数量较多,那么会推迟合并过程,但是再执行时,将会消耗更多时间。 note2:对于持续写的系统,这个参数的设置,是为了compact与flush的速度平衡,如果compact的速度远小于flush的速度,有可能造成 文件io过多,造成too many openfile异常,以及给namenode带来更大的压力。

6、hbase.hregion.memstore.flush.size、hbase.hregion.memstore.block.multiplier

默认134217728、2 第一个参数:如果一个memstore大小超过flushsize,则启动flush。后台会有一个线程在周期hbase.server.thread.wakefrequency内,定时检查 第二个参数:如果一个memstore大小超过 该值*flushsize,则阻塞更新。该参数可以平衡,写入速度、flush速度、compact速度、split速度

7、hbase.regionserver.checksum.verify

默认false,决定,hbase使用自己的数据校验,而不是hdfs的校验。

8、hbase.hregion.max.filesize

默认10G,一个region下,任一列簇的hfiles的大小,超过这个值,该region将split成2个region。 note:如果你的数据量增长的比较快,那么还是建议把这个大小调高,可以调成100G,因为越少的region你的集群越流畅,100G的阈值基本可以避免你的region增长过快,甚至你的region数目会长期不变。当然大region在compaction时也会更加缓慢。几十G的region启动和compaction都非常的慢,如果storefile较多,一个compaction可能会持续几天。

9、谈谈region数量设置、以及region split过程

个人观点,如果可以尽早对region进行规划,可以提前预判规划好region的数量,这样可以节省split带来的消耗。 note1:人工进行split 设置hbase.hregion.max.filesize的值为LONG.MAX_VALUE,但是建议设成一个较大的值。预先设计region数量为10,或者更少,然后看数据发展情况。 如果数据较少,可以讲major compact的周期调大。如果数据增长比较快,那么可以调用org.apache.hadoop.hbase.util.RegionSplitter接口,主动进行split。

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

文档

hbase优化相关参数说明

hbase优化相关参数说明:1、hbase.regionserver.handler.count RegionServers处理远程请求的线程数,如果注重TPS,可以调大,默认10 note1:设得越大,意味着内存开销变大,hbase.client.write.buffer * hbase.regionserver.handler.count,h
推荐度:
标签: 介绍 参数 说明
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top