Redis位图：从原理到亿级数据处理实战

位图底层实现原理

Redis位图并非独立数据类型，而是基于String类型实现的特殊操作方式。每个字节由8个二进制位组成，最大可支持2^32位（512MB）。通过GETBIT/SETBIT命令操作时，Redis会自动扩展字符串长度。

内存分配采用预分配策略：

// redis/src/bitops.c 源码片段
size_t byte = offset >> 3;
size_t bit = 7 - (offset & 0x7);  // Redis使用大端存储
if (byte >= sdslen(o->ptr)) {
    o->ptr = sdsgrowzero(o->ptr,byte+1);  // 自动扩展内存
}

位操作基础命令详解

1. SETBIT 时间复杂度O(1)

> SETBIT user:1000:login 5 1
(integer) 0  # 返回旧值

2. GETBIT 操作演示

> GETBIT user:1000:login 1000000
(integer) 0  # 未设置的位默认返回0

3. BITCOUNT 的两种算法：

• 查表法：预先生成256种字节值对应的1的个数
• variable-precision SWAR算法（处理大块数据时使用）

位图统计实战技巧

统计连续登录天数示例：

-- 使用Lua脚本保证原子性
local key = KEYS[1]
local today = tonumber(ARGV[1])
local maxDays = 0
local current = 0

for i = 0, today-1 do
    if redis.call('GETBIT', key, i) == 1 then
        current = current + 1
        maxDays = math.max(maxDays, current)
    else
        current = 0
    end
end

return maxDays

位图运算高级应用

组合运算实现用户画像：

# 生成30天内登录过的用户
BITOP OR login_30d login_day1 login_day2 ... login_day30

# 找出同时具有VIP标签和登录用户
BITOP AND vip_active vip_users login_30d

# 计算转化率
BITOP XOR new_login login_30d login_29d  # 找出新增登录用户

海量数据处理优化

使用分片存储应对超大数据：

def get_shard_key(user_id):
    shard = user_id // 1000000
    return f"login:{shard}"

def set_login_status(user_id, day):
    shard_key = get_shard_key(user_id)
    offset = user_id % 1000000 * 365 + day
    redis_client.setbit(shard_key, offset, 1)

真实场景性能对比

测试10,000,000用户量级： | 操作类型 | 集合实现 | 位图实现 | 内存对比 | |----------------|---------|---------|----------| | 记录每日登录 | 800MB | 1.19MB | 672:1 | | 周活跃用户统计 | 2.3s | 0.12s | 19倍速度 | | 月度留存率计算 | 内存溢出 | 0.31s | 无法比较 |

混合数据结构方案

结合HyperLogLog进行基数统计：

# 记录每日独立IP访问
SETBIT ip:20230901 123456 1
PFADD ip_unique:20230901 192.168.1.1

# 获取精确数据和基数估算
BITCOUNT ip:20230901
PFCOUNT ip_unique:20230901

位图压缩传输方案

使用BITFIELD命令进行块操作：

> BITFIELD mybitmap GET u4 0 GET u4 4  # 获取前8位，每4位为一个单元
1) (integer) 6  # 0110
2) (integer) 9  # 1001

Ruby二进制解析示例：

def parse_bitmap(bitmap)
    bytes = bitmap.bytes
    result = []
    bytes.each do |byte|
        8.times do |i|
            result << (byte >> (7 - i)) & 1
        end
    end
    result
end

异常处理与监控

常见问题处理方案：

1. 内存溢出预防：

CONFIG SET proto-max-bulk-len 536870912  # 调整最大允许值

2. 大键监控脚本：

def check_big_keys(host, port, threshold=1048576):  # 1MB阈值
    r = redis.Redis(host, port)
    for key in r.scan_iter():
        size = r.memory_usage(key)
        if size > threshold:
            print(f"Big key: {key} ({size} bytes)")

未来发展趋势

1. Roaring Bitmap集成可能性
2. 向量化指令优化（AVX-512）
3. 持久化时压缩存储优化