目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

大数据全系列 教程

1869个小节阅读:467.3k

收藏
全部开发者教程

408考研

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(190)
赞(0)

###7.2 Column Family相关优化

问题1:请问在Column Family上有哪些优化的方案?

参考答案:

  1. 合理设置列族数量
  2. 设置查询缓存In Memory,创建表的时候,可以通过HColumnDescriptor.setInMemory(true)将表对应列族下的数据放到RegionServer的缓存中,保证在读取的时候被cache命中。用在读取比较频繁的列族上。
  3. 设置Cell保存数据的版本数Max Version,创建表的时候,可以通过HColumnDescriptor.setMaxVersions(int maxVersions)设置表中数据的最大版本,如果只需要保存最新版本的数据,那么可以设置setMaxVersions(1)。0.96以前默认是3,以后默认版本已经改为1。
  4. 设置数据的有效时间Time To Live,创建表的时候,可以通过HColumnDescriptor类对象调用setTimeToLive(int timeToLive)设置表中对应列族下数据的存储生命期,过期数据将自动被删除,例如如果只需要存储最近两天的数据,那么可以设置setTimeToLive(2 * 24 * 60 * 60),单位秒。默认永久保存(TTL => 'FOREVER')

问题2:请详细说明如何合理设置列族数量?

参考答案:

不要在一张表里定义太多的column family。目前Hbase并不能很好的处理超过2~3个column family的表。因为某个column family在flush的时候,它邻近的column family也会因关联效应被触发flush,最终导致系统产生更多的I/O。感兴趣的同学可以对自己的HBase集群进行实际测试,从得到的测试结果数据验证一下。

img

一个region由多个store组成,一个store对应一个CF(列族)

 

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2