20230527 周会纪要

[luky116]

1 单机

• P0 CI/CD
• P0 数据同步
  • rsync 去除，添加新的主从同步机制 rsync 进程去除， 全量同步功能设计 #1228
    • 0506 新 issue 重构数据同步迁移系统，剥离rsync #1393
    • 0513 数据传输正确性，断点续传；
    • 0527 tanruoling 跟进
  • pika 实例硬盘容量满，清理数据后，pika仍然保持错误的状态，需要重启才能恢复 #1150 刘振：pika 实例硬盘容量满，清楚数据后，pika仍然保持错误的状态，需要重启才能恢复，方案：在辅助线程里增加容量检查
    • TODO
  • 3.3.3版pika哨兵模式下，一个节点挂掉后，无法重启该节点 #1001 3.3.3版pika哨兵模式下，一个节点挂掉后，无法重启该节点：没有有效回复
    • 0527 lyc 负责：开发中，待和 Pika 对接测试
• P1 多平台支持
  • 支持 windows：Port pika to windows platform #1437
    • 0506 kangjinci 同学 own ，已经初步提交一个 pr fix: refactor pstd_mutex #1440
    • 0513 主要目标是在保证 C++17，不要把 Pika 搞的很复杂
    • 0520 对代码侵入性大，暂时不继续推进windows支持
• P1 性能调优
  • 支持clang-tidy静态检查：build: support clang-tidy #1303 李浩
    • 0408 在 cmake 中加入编译时候的静态分析告警 ，henshui 负责
    • 0415 assign 给 cjg
    • 0429 cjg 继续推进
    • 0506 cjg 继续推进
    • 0513 李浩推进
    • 0518 李浩PR：feat: add clang-tidy for pika #1515
    • 0527 PR已经合并
  • ttl 和 version 溢出：meta version conflict in heavy set/delete workload #1333
• P2 RocksDB henshui
  • 动态配置sst文件大小：动态配置sst文件大小 #1129 chuande
    • 0429 可参考 pr https://github.com/OpenAtomFoundation/pika/pull/1134/files
    • 0520 chuande own
    • 0527 chuande 跟进
  • P2 Pika on S3：[GitLink] Pika 在 AWS S3 上存储数据 #1438 henshui
    • 0408 henshui 说 Pika 可改成 share disk 架构 @Tangruilin ；henshui 觉得开发难度大，且用户切换的难度比较高；
    • 0506 ruiilin 提供指导，sacloudy 王若添 own
    • 0520 若添继续跟进
    • 0527 常远跟进，ruilin指导
• P2 Pika 兼容 Redis
  • redis API: role：redis API: role #902
  • Pipeline 功能改进：咨询问题pipeline #935 李浩
    • 0429 李浩负责验证推进
    • 0506 李浩继续跟进
    • 0520 未回复，不再跟进
  • blpop brpop 命令支持：redis API: support brpop, blpop #114 陈俊华
    • 0228 @Tangruilin
    • 0506 @cheniujh
    • 0520 俊华在写，继续推进
  • pika支持MULTI和EXEC事务 Pika 支持 Redis 事务 #1446 李浩
    • 0429 李浩领走该 task
    • 0527 代码待测试
  • redis API: support commands_duration_seconds_total：redis API: support commands_duration_seconds_total #977 吴显荣
  • zset range delete performence sucks：redis API: zset range delete performence sucks #1119 吴显荣
    • 0429 吴显荣 Mixficsol 领取该任务
    • 0506 有待继续推进
    • 0527 [跟进进度]
  • suport SYNC/PSYNC/PSYNC2 [GitLink] Pika 兼容 Redis 同步命令 #1070
    • 0429 cjg
    • 0527
  • zset range delete redis API: zset range delete performence sucks #1119 吴显荣
  • hashtable field：set field ttl on Pika hashtable/zset field #1485 李浩
    • 0520 李浩还在做
  • support lastsave redis API: support lastsave #1161 车金鸽
    • 0429 cjg
    • 0527 方案调研中
  • pika 数据一致性校验：pika有数据一致性校验工具吗？ #1175
    • 用户：pika有数据一致性校验工具吗？尝试使用 redis-full-check工具好像不行。
    • 刘振：ok，要解决这个问题需要对pika的keyspace的返回格式进行修改了。
    • 0429 yuyu
    • 0527 待认领
  • 支持 ACL，可参照 Redis 进行权限控制：Pika 支持 ACL 多租户功能 #1284 lqx
    • 0429 lqx
    • 0506 lqx 继续推进
    • 0520 lqx 参考redis实现
    • 0527 lqx 担任导师，指导其他同学跟进
  • redis常见module支持：Pika 支持 Redis 常见 module #1220 赵昊
    • 0429 lqx
    • 0506 赵昊 ptbxzrt own
    • 0527 最近比较忙，和常远一起跟进（导师联系下）
      • 常远难点：不太熟悉C++，需要导师协助（李浩、瑞麟指导）
  • admin能力支持，单机，基本的建表模型，观测/管理/配置修改：admin能力支持 #1221 lqx
    • 0429 lqx
    • 0520 lqx 原本部分已经支持了，先梳理一下需要支持的功能
• P2 依赖库

2 集群

• codis 维护 maxin，yuecai

  • codis: support hash range instead of slotnum #1294 在 codis 下支持 hash 而非 range

  • codis : support etcd/local storage instead of zk #1295 codis 下支持 etcd

  • pika: behind codis, pika should support raw command instead of redis command #1296 在 codis 架构下，proxy 解析一次 redis 协议，pika 再解析一次，属于重复工作。

  • pika3.3.6单机主从架构多db如何做数据迁移到codis+pika分片版本 #1195 用户：pika3.3.6单机主从架构多db如何做数据迁移到codis+pika分片版本。我修改了codis和pika的默认slot，我5台物理机，将slot修改为了128，目前运行下来比较稳定，最开始使用1024个slot，性能很差，还经常timeout。

    • 0527 正在开发 Pika 的 classic+codis 的集群模式

  • P0 删除Sharding jinge

    • 0520 jinge 整理文档，拆分issue，分出去做，加快推进
      • table partition去除，只剩下db和slot，有一些经典模式的命令需要重构
      • 李浩，baitao，冯智森，赖沐曦 参与跟进
    • 0527 金鸽：暂时不删除table和partition，改为适配db和slot

3 可观测性

• Metrics

  • 0401 目前重要的任务就是添加 RocksDB 的观测性指标
  • 0408 baitao 继续基于 exporter 进行相关工作；baitao 老版本的 exporter 2.0 的指标在 exporter 3.0 中没有了，不保证支持
  • pika观测性支持 #1218 一些的可观测性建议
  • integrate pika_exporter into pika repo #1336 把 exporter 合入 pika repo
    • 0408 尚未合入
    • 0415 目前baitao还在doing 相关工作
    • 0429 liuyuecai & cjg 一块 review build: add pika_exporter to pika  #1388 需要清楚观测了哪些指标
    • 0520 已合并，后面检查metrics全不全，yuecai 后续与 henshui、chuande 交流讨论，整理文档
    • 0527 yinnan 梳理了 Pika 常见的 Metrics 指标，待讨论：Pika 需要哪些必要的 Metrics 指标？ #1549

• Logging

• Tracing

  • P3 接入 OpenTelemetry hongfan

4 工具集

• P3 基于 ldb 命令，做一个工具，分析 sst 文件 ruilin
• P3 Pika-migrate 代码在 v3_2_7_migrate
  • pika有数据一致性校验工具吗？ #1175 用户：pika有数据一致性校验工具吗？尝试使用 redis-full-check工具好像不行。刘振：ok，要解决这个问题需要对pika的keyspace的返回格式进行修改了。
  • rocsksdb: support sst ingest file import #1292 把数据转换成 sst，然后导入 Pika。
• codis 点对点数据迁移：codis: support migrate-tools #1302 baitao
  • 0408 baitao 负责，在 codis 之上完成该任务
  • 0506 baitao 看能否迁入 https://github.com/OpenAtomFoundation/pika/tree/unstable/pika-tools ，基于阿里的 redis-shake 魔改，相关系统已经放入 pika wiki
  • 0520 内部 codis 版本好像是 Pika 3.2
    • 已合并PR，Add codis2pika to pika #1510 #1514
    • 只支持codis集群导入经典模式（redis to pika），后面继续支持原有sharding模式导入经典模式

5 云原生

• P1 maxin贡献的主从 operator
  • 0516 没有稳定的 docker 镜像，先搞一个 helm，helm 是标准，后续再继续推进
• P1 docker maxin 、yinnan
  • please update newest pika docker image in docker hub #1163 用户：the image in https://hub.docker.com/ is too old.
  • 0527 等待下一个 Release 上传稳定版本的镜像

6 质量建设

• P0 单测

  • 单测 刘振已经提交了 pr test: add redis test #1357 baitao，maxin，常顺宇
    • 0415 需要刘振继续验证
    • 0429 显荣 推荐，可以借鉴 https://github.com/jianqingdu/kedis/tree/master/tests
    • 0506 老 pr 已经 merge，看怎么集成进 github action ci
    • 0520 baitao，常顺宇 后面微调一下，让ut跑起来，add unit test start up script #1538
    • 0527 目前已经能跑单测，其他任务待跟进；待加上单测相关的 CI；
  • pika: 差异化命令类型API 单元测试用例。增加针对 pika 独有的命令的ut：pika: 差异化命令类型API 单元测试用例 #1257
    • 0520 部分命令不完全对应，需要整理差异，wiki有几年前的一个列表供参考：https://github.com/OpenAtomFoundation/pika/wiki/pika-%E5%B7%AE%E5%BC%82%E5%8C%96%E5%91%BD%E4%BB%A4

• P1 集成测试 yuecai

  • 0520 yuecai 提单独仓库做 https://github.com/pikiwidb/pika/pull/1

7 社区

7.1 OSPP 开源之夏

• Pika 实现 Raft 集群：[OSPP] Pika 实现 Raft 集群 #1444
  • 赖沐曦，braft，先把brpc替换掉，已经写了部分申请书，后面继续跟ruilin沟通
  • 陆安璞，后面继续跟ruilin沟通
  • 0527
    • ruilin 修改陆安璞的设计文档； laimuxi 已经给出设计文档
    • 于雨: 高优先级，可以 2~3 个同学参加
• Pika 支持 Lua 脚本并引入 LuaJIT 解释器：[OSPP] Pika 支持 Lua 脚本并引入 LuaJIT 解释器 #1445
  • 李超群，跟ruilin沟通过，先看一下 redis 2.0 支持实现方式（曾支持lua），看pika数据结构，需要提一个测试方案，下周之前交申请书初版
  • 冯智森，redis使用的是原生的lua接口，tx 使用一些库在lua中调用pika的，通过库导出到lua层，需要做解析的客户端。Pika目前还不支持事务，后面配合支持
  • 0520 冯智森给大家讲解lua相关分享
  • 0527 超群、智森的设计文档已经给出，待导师审核；待处理问题：文档未提到C++如何适配C
• Pika 支持 Redis 事务：Pika 支持 Redis 事务 #1446
  • 李浩，目前在推进
  • 孙建钊，方案已经设计，代码写了一半
  • 0527 代码已写完，待测试

7.2 GitLink 开源夏令营

• Pika 兼容 Redis 同步命令：[GitLink] Pika 兼容 Redis 同步命令 #1070
  • 陈俊华，先梳理思路
  • 0527 在了解pika的同步机制，设计方案中
• Pika 支持 Redis 常见 module：Pika 支持 Redis 常见 module #1220
  • 宁常远 & 赵昊
  • 0527
    • 常远： 最近比较忙，和常远一起跟进（导师联系下）
      • 难点：不太熟悉C++，需要导师协助（李浩、瑞麟指导）
    • 赵昊：感觉工作量很大，比如，兼容redis json，要实现所有的api；先跟进，看看能实现到什么程度
• Pika 在 AWS S3 上存储数据：[GitLink] Pika 在 AWS S3 上存储数据 #1438
  • 王若添
  • 0527 宁常远跟进，ruilin 指导
    • 问题：rocksDB cloud 没有人维护，需要评估下，再确定方案
    • 工作量比较大，有适配工作，等确定了方案再来拆分工作
• 配合 Sentinel（哨兵）实现 Pika 自动容灾：配合 Sentinel（哨兵）实现 Pika 自动容灾 #1529
  • 顾辰枫，后面梳理思路
  • 0527 待跟进
• Pika 支持 ACL 多租户功能：Pika 支持 ACL 多租户功能 #1284
  • 0527 lqx 来指导新人来做
• Pika 实现乐观锁功能：Pika 实现乐观锁功能 #1550
  • 0527 陈品烨

7.3 members

Name	GithubID	Task	PR	Description
于雨	AlexStocks	#1175		pika数据一致性校验工具
李浩	ForestLH	#1303	#1515	在 cmake 中加入编译时候的静态分析告警
车金鸽	chejinge	#1333
车金鸽&刘月财	chejinge luky116	#1336 #1230 #1288	#1388	添加pika-exporter，调研清楚Pika需要哪些观测指标
车金鸽	chejinge	#1070		支持 SYNC/PSYNC/PSYNC2
车金鸽	chejinge	#1161		支持 lastsave
lqx	lqxhub	#1284		支持 ACL
赵昊	ptbxzrt	#1220		redis常见module支持
lqx	lqxhub	#1221		admin能力支持，单机，基本的建表模型，观测/管理/配置修改
吴显荣	Mixficsol	#1119		zset的范围删除的性能不好
李浩	ForestLH	#935		支持pipline
陈俊华	chenjunhua	#114		支持 brpop, blpop
王若添	sacloudy	#1438		Pika On S3
hongfan	georgehao	#1227		redis smart client的兼容
顾辰枫	ChanphongGu	#1228	#1250	rsync 进程去除， 全量同步功能设计
张诗语	Joeyzsy	#1393		重构数据同步迁移系统，剥离rsync
陈柏韬	chenbt-hz	#1302		codis 点对点数据迁移
kangjinci	4kangjc	#1437		Pika 支持 Windows 平台

人员列表

Name	GithubID	Desc
李浩	ForestLH	华科
lqx	lqxhub	上海游戏公司
赵昊	ptbxzrt
吴显荣	Mixficsol	学生
陈俊华	chenjunhua	重邮
王若添	sacloudy
顾辰枫	ChanphongGu	福大
张诗语	Joeyzsy	北邮
baitao	chenbt-hz	hzgt
冯智森	A2ureStone	深哈工大
康锦赐	4kangjc
赖沐曦	iiiuwioajdks
chuande		zksg
陆安璞	Brokenice0415	南京大学
宁常远	longfar-ncy	南京航空航天大学
王立强
孙建钊	sjz-hub	北京邮电大学
黄麒浩		广州大学，研一
陈品烨		华南理工，研一，熟悉C++，win开发