江伟的笔记 | 江伟的个人博客

网站标签

风向博客、 风向、 江伟的博客、 江伟、 PHP、 jw、 Javascript、 CSS、 LAMP、

---

网站描述

愿你走出半生，归来仍是少年

---

上一篇：我爱下厨房

下一篇：深圳_广州除甲醛_甲醛检测_除甲醛_甲醛治理 - 洁多多除甲醛公司

seo综合信息

SEO信息	百度来访IP：- | 移动端来访IP：- | 出站链接：0 | 站内链接：142
IP网速：	IP地址：220.181.168.180 [中国北京北京 电信] | 网速：809毫秒
ALEXA排名	世界排名：- | 预估IP：- | 预估PV：-
备案信息	沪ICP备14030279号 | 名称：江伟 | 已创建：10年11个月1天

收录	百度	360	搜狗	谷歌
查询	0	0	0	0

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
0	0	电脑端优秀	-	0	0

协议类型HTTP/1.1 200 OK 页面类型text/html; charset=UTF-8 服务器类型nginx 是否压缩是 原网页大小66374 压缩后大小18249 压缩比72.51%

网站快照

江 伟 的 笔 记 | 江 伟 的 个 人 博 客 江 伟 的 笔 记 愿 你 走 出 半 生 ， 归 来 仍 是 少 年 首 页 关 于 R e d i s 的 通 信 协 议 R E S P 作 者 : a d m i n 时 间 : 2 0 1 9 0 3 3 0 分 类 : 数 据 库 评 论 R e d i s 作 者 认 为 数 据 库 系 统 瓶 颈 不 在 网 络 流 量 , 而 在 数 据 库 自 身 逻 辑 处 理 上 , 所 以 使 用 了 浪 费 流 量 的 文 本 协 议 , 来 换 取 即 可 的 访 问 性 能 R E S P R E S P ( R e d i s S e r i a l i z a t i o n P r o t o c o l ) 是 一 种 直 观 的 文 本 协 议 , 优 势 是 过 程 简 单 , 解 析 极 好 , 劣 势 是 耗 费 流 量 R E S P 将 传 输 的 结 构 数 据 分 为 5 种 最 小 单 元 类 型 , 单 元 结 束 时 统 一 加 上 回 车 换 行 符 \ \ r \ \ n 单 行 字 符 串 以 + 符 号 开 头 / / 单 行 字 符 串 H e l l o W o r l d + H e l l o W o r l d \ \ r \ \ n 多 行 字 符 串 以 $ 符 号 开 头 , 后 跟 字 符 串 的 长 度 / / 多 行 字 符 串 H e l l o W o r l d $ 1 1 H e l l o W o r l d \ \ r \ \ n 整 数 值 以 : 符 号 开 头 , 后 跟 整 数 的 字 符 串 形 式 / / 1 0 2 4 : 1 0 2 4 \ \ r \ \ n 错 误 消 息 以 符 号 开 头 W R O N G T Y P E O p e r a t i o n a g a i n s t a k e y h o l d i n g t h e w r o n g k i n d o f v a l u e \ \ r \ \ n 数 组 以 * 号 开 头 , 后 跟 数 组 的 长 度 / / 数 组 [ 1 , 2 , 3 ] * 3 \ \ r \ \ n : 1 \ \ r \ \ n : 2 \ \ r \ \ n : 3 \ \ r \ \ n N U L L / / N U L L 用 多 行 字 符 串 表 示 , 长 度 写 成 1 $ 1 \ \ r \ \ n 空 字 符 串 / / 空 字 符 串 用 多 行 字 符 串 表 示 , 长 度 填 0 / / 两 个 \ \ r \ \ n 之 间 表 示 空 字 符 串 $ 0 \ \ r \ \ n \ \ r \ \ n 客 户 端 服 务 端 客 户 端 向 服 务 端 发 送 执 行 只 有 一 种 格 式 , 多 行 字 符 串 数 组 / / s e t a u t h o r c o d e h o l e * 3 \ \ r \ \ n $ 3 \ \ r \ \ n s e t \ \ r \ \ n $ 6 a u t h o r \ \ r \ \ n $ 8 c o d e h o l e \ \ r \ \ n 控 制 台 输 出 的 样 式 * 3 $ 3 s e t $ 6 a u t h o r $ 8 c o d e h o l e 服 务 端 客 户 端 单 行 字 符 串 响 应 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s e t a u t h o r c o d e h o l e O K 服 务 端 响 应 内 容 + O K 错 误 响 应 / / 试 图 对 一 个 字 符 串 进 行 自 增 的 错 误 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > i n c r a u t h o r ( e r r o r ) E R R v a l u e i s n o t a n i n t e g e r o r o u t o f r a n g e 服 务 端 响 应 内 容 E R R v a l u e i s n o t a n i n t e g e r o r o u t o f r a n g e 整 数 响 应 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > i n c r b o o k s ( i n t e g e r ) 1 服 务 端 响 应 内 容 : 1 多 行 字 符 串 / / 双 引 号 括 起 来 的 字 符 串 其 实 是 多 行 字 符 串 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t a u t h o r c o d e h o l e 服 务 端 响 应 内 容 $ 8 c o d e h o l e 数 组 响 应 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > h s e t i n f o n a m e t e s t n a m e ( i n t e g e r ) 1 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > h s e t i n f o a g e 3 0 ( i n t e g e r ) 1 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > h g e t a l l i n f o 1 ) n a m e 2 ) t e s t n a m e 3 ) a g e 4 ) 3 0 h g e t a l l 响 应 内 容 * 4 $ 4 n a m e $ 8 t e s t n a m e $ 3 a g e $ 2 3 0 嵌 套 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s c a n 0 1 ) 0 2 ) 1 ) i n f o 2 ) b o o k s 3 ) a u t h o r 服 务 端 响 应 内 容 * 2 $ 1 0 * 3 $ 4 i n f o $ 5 b o o k s $ 6 a u t h o r 总 结 R E S P 使 用 大 量 冗 余 的 回 车 换 行 符 , 已 然 是 一 个 非 常 受 欢 迎 的 协 议 . 在 技 术 领 域 , 性 能 并 不 是 总 是 一 切 , 还 有 简 单 性 , 易 理 解 性 和 易 实 现 性 , 总 之 需 要 学 会 平 衡 . R e d i s 作 者 认 为 数 据 库 系 统 瓶 颈 不 在 网 络 流 量 , 而 在 数 据 库 自 身 逻 辑 处 理 上 , 所 以 使 用 了 浪 费 流 量 的 文 本 协 议 , 来 换 取 即 可 的 访 问 性 能 R E S P R E S P ( R e d i s S e r i a l i z a t i o n P r o t o c o l ) 是 一 种 直 观 的 文 本 协 议 , 优 势 是 过 程 简 单 , 解 析 极 好 , 劣 势 是 耗 费 流 量 R E S P 将 传 输 的 结 构 数 据 分 为 5 种 最 小 单 元 类 型 , 单 元 结 束 时 统 一 加 上 回 车 换 行 符 \ \ r \ \ n 单 行 字 符 串 以 + 符 号 开 . . . 阅 读 全 文 . . . R e d i s 的 优 胜 劣 汰 L R U 算 法 作 者 : a d m i n 时 间 : 2 0 1 9 0 3 3 0 分 类 : 数 据 库 评 论 本 章 主 要 介 绍 : r e d i s 内 存 满 了 以 后 会 怎 样 ? r e d i s 的 近 似 L R U 算 法 和 严 格 L R U 算 法 有 什 么 区 别 ? R e d i s 的 五 种 最 大 内 存 时 的 释 放 策 略 场 景 当 r e d i s 内 存 超 出 物 理 内 存 限 制 时 , 会 频 繁 和 硬 盘 交 换 ( s w a p ) , 极 大 影 响 性 能 r e d i s 可 配 置 m a x m e m o r y 参 数 来 限 制 内 存 超 出 期 望 大 小 当 实 际 内 存 超 出 m a x m e m o r y 时 , r e d i s 提 供 了 五 种 策 略 来 让 用 户 自 己 觉 得 如 何 腾 出 新 空 间 提 供 读 写 服 务 五 种 策 略 n o e v i c t i o n : 默 认 策 略 . 不 提 供 除 d e l 之 外 的 写 请 求 , 读 请 求 可 以 继 续 进 行 . 保 证 不 会 丢 失 数 据 v o l a t i l e l r u : 尝 试 淘 汰 设 置 了 过 期 时 间 且 最 少 使 用 的 k e y . v o l a t i l e t t l : 尝 试 淘 汰 设 置 了 过 期 时 间 且 t t l 小 的 k e y . v o l a t i l e r a n d o m : 尝 试 随 机 淘 汰 设 置 了 过 期 时 间 的 k e y . a l l k e y s l r u : 在 全 体 k e y 中 淘 汰 最 少 使 用 的 . a l l k e y s r a n d o m : 在 全 体 k e y 中 随 机 淘 汰 严 格 L R U 算 法 维 护 一 个 链 表 , 将 所 有 设 置 了 过 期 时 间 的 k e y 放 在 这 个 链 表 中 当 字 典 中 某 个 元 素 被 访 问 时 , 它 在 链 表 中 的 位 置 会 被 移 动 到 链 表 头 部 当 空 间 满 时 , 就 从 链 表 尾 部 开 始 移 除 元 素 近 似 L R U 算 法 为 了 不 维 护 严 格 算 法 的 链 表 , 节 省 内 存 给 每 个 k e y 增 加 一 个 额 外 2 4 b i t 长 度 的 小 字 段 , 存 储 该 k e y 的 最 后 一 次 访 问 时 间 戳 当 空 间 满 时 , 随 机 采 样 取 出 5 个 k e y ( 数 量 可 配 置 ) , 按 时 间 戳 淘 汰 掉 最 旧 的 k e y 循 环 第 二 步 , 直 到 内 存 低 于 m a x m e m o r y 值 随 机 采 样 的 范 围 取 决 于 配 置 的 策 略 是 v o l a t i l e 还 是 a l l k e y s R e d i s 3 . 0 开 始 , 增 加 了 淘 汰 池 进 一 步 提 升 了 近 似 L R U 的 效 果 : 上 一 次 随 机 采 样 后 未 淘 汰 的 k e y , 会 放 入 淘 汰 池 留 待 下 一 次 循 环 , 下 一 次 随 机 采 样 的 k e y 会 先 和 淘 汰 池 中 的 k e y 合 并 后 , 再 计 算 淘 汰 最 旧 的 k e y 本 章 主 要 介 绍 : r e d i s 内 存 满 了 以 后 会 怎 样 ? r e d i s 的 近 似 L R U 算 法 和 严 格 L R U 算 法 有 什 么 区 别 ? R e d i s 的 五 种 最 大 内 存 时 的 释 放 策 略 场 景 当 r e d i s 内 存 超 出 物 理 内 存 限 制 时 , 会 频 繁 和 硬 盘 交 换 ( s w a p ) , 极 大 影 响 性 能 r e d i s 可 配 置 m a x m e m o r y 参 数 来 限 制 内 存 超 出 期 望 大 小 当 实 际 内 存 超 出 m a x m e m o r y 时 , r e d i s 提 供 了 五 种 策 略 来 让 用 户 自 己 觉 得 如 . . . 阅 读 全 文 . . . R e d i s 过 期 策 略 作 者 : a d m i n 时 间 : 2 0 1 9 0 3 1 5 分 类 : 数 据 库 评 论 R e d i s 主 要 是 惰 性 策 略 和 定 时 删 除 两 种 策 略 结 合 , 来 清 理 过 期 k e y . 惰 性 策 略 客 户 端 访 问 K e y 时 , 先 进 行 过 期 判 断 , 如 果 已 经 过 期 立 即 删 除 . 定 时 删 除 R e d i s 将 设 置 了 过 期 时 间 的 k e y 放 在 一 个 独 立 的 字 典 中 没 1 0 s 扫 描 一 次 此 字 典 , 随 机 取 2 0 个 k e y 删 除 这 2 0 个 k e y 中 的 已 经 过 期 k e y 如 果 已 经 过 期 的 k e y 占 比 超 过 1 / 4 , 则 重 复 步 骤 2 4 问 题 一 : 某 一 个 时 刻 大 量 k e y 过 期 , 影 响 单 线 程 的 r e d i s 读 写 操 作 怎 么 办 ? 大 量 k e y 过 期 一 是 堵 塞 线 程 , 造 成 卡 顿 二 是 大 量 内 存 回 收 导 致 c p u 飙 升 优 化 方 案 每 次 定 时 扫 描 设 置 了 2 5 m s 的 上 限 , 当 客 户 端 请 求 正 好 遇 到 在 扫 描 时 , 至 多 等 待 2 5 m s , 当 然 如 果 客 户 端 超 时 时 间 设 置 低 于 此 阀 值 , 则 会 造 成 大 量 链 接 因 为 超 时 而 关 闭 , 且 还 不 会 出 现 在 s l o w l o g 中 业 务 开 发 人 员 在 设 置 过 期 时 间 时 , 建 议 加 上 一 个 随 机 值 , 避 免 在 同 一 时 间 过 期 问 题 二 : d e l 删 除 大 k e y 卡 顿 主 线 程 怎 么 办 ? d e l 操 作 是 立 马 释 放 内 存 , 小 k e y 的 时 候 没 没 有 明 显 延 迟 如 果 一 个 包 含 了 上 千 万 的 h a s h k e y , 删 除 操 作 就 会 造 成 主 线 程 明 显 卡 顿 优 化 方 案 使 用 上 尽 量 避 免 大 k e y 的 产 生 R e d i s 4 . 0 版 本 引 入 了 u n l i n k 指 令 , 对 删 除 操 作 懒 处 理 , 交 给 异 步 线 程 执 行 u n l i n k 是 线 程 安 全 的 . R e d i s 中 所 有 数 据 比 作 一 颗 大 树 , u n l i n k 是 指 令 是 砍 掉 这 个 k e y 所 属 的 树 枝 , 丢 到 火 堆 ( 异 步 线 程 池 ) 里 慢 慢 烧 , 在 离 开 大 树 的 瞬 间 , 就 不 会 被 主 线 程 访 问 到 . R e d i s 主 要 是 惰 性 策 略 和 定 时 删 除 两 种 策 略 结 合 , 来 清 理 过 期 k e y . 惰 性 策 略 客 户 端 访 问 K e y 时 , 先 进 行 过 期 判 断 , 如 果 已 经 过 期 立 即 删 除 . 定 时 删 除 R e d i s 将 设 置 了 过 期 时 间 的 k e y 放 在 一 个 独 立 的 字 典 中 没 1 0 s 扫 描 一 次 此 字 典 , 随 机 取 2 0 个 k e y 删 除 这 2 0 个 k e y 中 的 已 经 过 期 k e y 如 果 已 经 过 期 的 k e y 占 比 超 过 1 / 4 , 则 重 复 步 骤 2 4 问 题 一 : 某 一 个 时 . . . 阅 读 全 文 . . . R e d i s 事 务 作 者 : a d m i n 时 间 : 2 0 1 9 0 2 2 1 分 类 : 数 据 库 评 论 R e d i s 的 事 务 不 同 于 关 系 型 数 据 库 , 事 务 模 型 很 不 严 格 , 我 们 对 比 着 M y S Q L 来 看 基 本 用 法 命 令 分 为 : m u l t i 事 务 的 开 始 ( 类 似 M y S Q L 的 b e g i n ) e x e c 执 行 事 务 ( 类 似 M y S Q L 的 c o m m i t ) d i s c a r d 丢 弃 事 务 不 执 行 ( 类 似 M y S Q L 的 r o l l b a c k ) / / e x e c 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t j w ( n i l ) 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > m u l t i O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s e t j w 6 6 6 Q U E U E D 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > e x e c 1 ) O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t j w 6 6 6 这 里 要 注 意 , 如 果 e x e c 返 回 非 O K ( 如 n i l ) 则 表 示 执 行 失 败 / / d i s c a r d 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t j w ( n i l ) 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > m u l t i O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s e t j w 8 8 8 Q U E U E D 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > d i s c a r d O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t j w ( n i l ) e x e c 之 前 的 命 令 都 被 缓 存 在 事 务 队 列 里 并 为 执 行 , Q U E U E D 是 一 个 简 单 的 字 符 串 , 表 示 指 令 已 成 功 缓 存 到 事 务 队 列 里 . 原 子 性 文 首 我 们 说 了 R e d i s 的 事 务 模 型 不 严 格 , 主 要 是 指 原 子 性 , 请 看 下 面 代 码 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > m u l t i O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s e t j w _ s t r h e h e Q U E U E D 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > i n c r j w _ s t r Q U E U E D 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s e t j w 2 6 6 6 Q U E U E D 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > e x e c 1 ) O K 2 ) ( e r r o r ) E R R v a l u e i s n o t a n i n t e g e r o r o u t o f r a n g e 3 ) O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t j w 2 6 6 6 可 以 看 出 事 务 执 行 到 第 二 个 指 令 失 败 了 ( 不 能 对 字 符 串 做 + 1 的 数 学 运 算 ) , 但 是 第 三 个 指 令 仍 然 被 执 行 . 所 以 R e d i s 事 务 根 本 不 具 备 原 子 性 , 只 仅 仅 满 足 了 事 务 隔 离 性 中 的 串 行 化 当 前 执 行 的 事 务 不 被 其 他 事 务 打 断 . w a t c h 考 虑 一 个 业 务 场 景 , R e d i s 存 储 了 账 户 余 额 , 现 在 需 要 对 余 额 增 减 , 流 程 是 先 把 值 取 出 来 , 修 改 后 再 写 回 去 . 这 时 如 果 有 多 个 客 户 端 操 作 这 个 k e y 就 会 出 现 并 发 问 题 , 而 R e d i s 提 供 的 w a t c h 指 令 就 可 以 解 决 这 个 问 题 . , 使 用 方 式 如 下 : 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t j w ( n i l ) 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > w a t c h j w O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s e t j w 6 6 6 O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > m u l t i O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s e t j w 8 8 8 Q U E U E D 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > e x e c ( n i l ) 从 上 面 代 码 示 例 可 以 看 出 , w a t c h 会 在 事 务 开 始 之 前 就 盯 住 一 个 变 量 , R e d i s 在 执 行 e x e c 时 会 检 查 变 量 自 w a t c h 后 是 否 有 被 修 改 过 , 包 括 当 前 客 户 端 在 内 , 如 果 被 修 改 过 , 则 事 务 执 行 失 败 . 注 意 , R e d i s 禁 止 在 m u l t i 和 e x e c 之 间 执 行 w a t c h 指 令 , 必 须 在 事 务 开 启 指 令 m u l t i 之 前 盯 住 变 量 R e d i s 的 事 务 不 同 于 关 系 型 数 据 库 , 事 务 模 型 很 不 严 格 , 我 们 对 比 着 M y S Q L 来 看 基 本 用 法 命 令 分 为 : m u l t i 事 务 的 开 始 ( 类 似 M y S Q L 的 b e g i n ) e x e c 执 行 事 务 ( 类 似 M y S Q L 的 c o m m i t ) d i s c a r d 丢 弃 事 务 不 执 行 ( 类 似 M y S Q L 的 r o l l b a c k ) / / e x e c 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t j w ( n i l ) 1 2 7 . 0 . 0 . . . . 阅 读 全 文 . . . R e d i s 持 久 化 原 理 作 者 : a d m i n 时 间 : 2 0 1 9 0 2 2 0 分 类 : 数 据 库 评 论 概 述 R e d i s 是 个 内 存 数 据 库 , 数 据 全 部 存 储 在 内 存 中 , 如 果 突 然 宕 机 , 数 据 就 会 全 部 丢 失 , 因 此 有 了 将 数 据 刷 到 硬 盘 保 存 的 持 久 化 机 制 . R e d i s 持 久 化 分 两 种 方 式 , 一 种 是 R D B 快 照 , 另 一 种 是 A O F 日 志 . 快 照 就 是 全 量 备 份 , 内 存 数 据 的 二 进 制 序 列 化 形 式 , 在 存 储 上 非 常 紧 凑 . A O F 日 志 是 连 续 的 增 量 备 份 , 记 录 的 是 内 存 数 据 修 改 的 指 令 记 录 文 本 . 快 照 由 于 R e d i s 是 单 线 程 程 序 , 还 要 同 时 负 责 多 个 客 户 端 的 并 发 读 写 操 作 和 内 存 数 据 结 构 的 逻 辑 读 写 . 所 以 快 照 持 久 化 面 临 如 下 两 个 问 题 : 快 照 需 要 大 量 I O 操 作 可 能 会 阻 塞 线 上 业 务 , 拖 慢 整 体 性 能 , 而 且 快 照 又 不 能 使 用 多 路 复 用 持 久 化 的 同 时 , 还 需 要 接 受 客 户 端 请 求 , 正 在 持 久 的 数 据 可 能 会 被 修 改 删 除 R e d i s 使 用 操 作 系 统 的 多 进 程 C O W ( C o p y o n W r i t e ) 机 制 来 实 现 快 照 持 久 化 原 理 R e d i s 在 持 久 化 时 会 调 用 g l i b c 的 函 数 f o r k 产 生 一 个 子 进 程 . 子 进 程 做 数 据 持 久 化 , 不 会 修 改 现 有 的 内 存 数 据 结 构 , 它 只 是 对 现 有 的 数 据 结 构 遍 历 读 取 , 然 后 序 列 化 写 到 磁 盘 中 . 但 父 进 程 不 一 样 , 它 必 须 持 续 服 务 客 户 端 请 求 , 然 后 对 内 存 数 据 结 构 进 行 不 间 断 修 改 . 这 是 就 会 使 用 到 操 作 系 统 的 C O W 机 制 来 进 行 数 据 段 页 面 的 分 离 . 当 父 进 程 对 一 个 页 面 的 数 据 进 行 修 改 时 , 会 将 被 共 享 的 页 面 复 制 一 份 分 离 出 来 , 然 后 对 这 个 新 复 制 的 页 面 进 行 修 改 , 子 进 程 继 续 复 制 原 有 页 面 , 不 会 受 到 影 响 , 也 就 是 子 进 程 被 创 建 那 一 刻 的 数 据 , 所 以 为 什 么 叫 快 照 . 随 着 父 进 程 的 持 续 修 改 , 越 来 越 多 的 共 享 页 面 被 复 制 分 离 出 来 , 内 存 就 会 持 续 增 长 , 不 用 担 心 内 存 会 暴 增 , 因 为 不 会 超 过 原 有 数 据 内 存 的 2 倍 . 而 且 往 往 冷 数 据 占 比 较 多 , 很 少 会 出 现 所 有 的 页 面 都 被 复 制 分 离 的 情 况 . 扩 展 一 下 , 因 为 快 照 要 遍 历 整 个 内 存 , 同 时 大 块 写 磁 盘 也 是 非 常 耗 时 的 I O 操 作 , 所 以 建 议 在 从 节 点 上 进 行 . 由 于 从 节 点 可 能 会 因 为 网 络 等 问 题 , 造 成 同 步 延 迟 , 就 会 操 作 快 照 不 全 , 所 以 监 控 也 很 重 要 . A O F a o f 日 志 存 储 的 是 R e d i s 服 务 器 的 顺 序 指 令 序 列 , a o f 日 志 只 记 录 对 内 存 进 行 修 改 的 记 录 . a o f 同 样 也 面 临 着 两 个 问 题 : 随 着 实 例 的 运 行 , 修 改 性 指 令 序 列 越 来 越 多 , 在 存 储 和 重 放 ( 重 启 后 恢 复 ) 上 都 存 在 着 性 能 问 题 a o f 写 日 志 文 件 的 频 率 , 过 快 会 因 为 I O 拉 升 机 器 负 载 , 过 慢 如 果 机 器 突 然 宕 机 就 会 丢 失 数 据 重 写 为 解 决 第 一 个 问 题 , R e d i s 提 供 了 b g r e w r i t e a o f 指 令 用 于 对 a o f 日 志 瘦 身 . 其 原 理 是 开 启 一 个 子 进 程 对 现 有 内 存 数 据 进 行 遍 历 , 转 换 成 一 些 列 R e d i s 操 作 指 令 , 序 列 化 到 一 个 新 的 a o f 日 志 文 件 中 . 序 列 化 完 毕 后 的 再 将 操 作 期 间 发 生 的 增 量 a o f 日 志 追 加 到 新 的 日 志 中 , 然 后 代 替 旧 的 日 志 文 件 . f s y n c 进 程 对 a o f 日 志 文 件 写 操 作 时 , 实 际 是 将 内 容 写 到 操 作 系 统 内 核 为 文 件 描 述 符 分 配 的 一 个 内 存 缓 存 中 , 然 后 内 核 异 步 将 数 据 刷 到 磁 盘 . 为 解 决 第 二 个 问 题 , R e d i s 提 供 配 置 刷 新 周 期 , 通 常 是 1 s 就 会 调 用 L i n u x 的 g l i b c 提 供 的 f s y n c ( i n t f d ) 函 数 , 它 可 以 将 指 定 文 件 的 内 容 强 制 从 内 核 缓 存 刷 到 磁 盘 . 扩 展 一 下 . R e d i s 还 提 供 了 另 外 两 种 可 选 方 案 , 生 产 环 境 中 基 本 不 会 使 用 , 了 解 即 可 一 是 永 不 调 用 f s y n c , 让 操 作 系 统 来 决 定 合 适 刷 到 磁 盘 另 一 个 是 每 来 一 条 指 令 就 调 一 次 f s y n c 混 合 持 久 化 R e d i s 4 . 0 提 供 快 照 和 a o f 日 志 都 有 各 自 的 痛 点 快 照 因 为 是 每 隔 一 段 时 间 持 久 化 一 次 , 就 会 丢 失 宕 机 时 刻 与 上 一 次 持 久 化 之 间 的 数 据 a o f 因 为 存 储 的 是 指 令 序 列 , 恢 复 重 放 时 要 花 费 很 长 时 间 综 合 利 弊 , 使 用 a o f 还 是 更 靠 谱 一 点 , 现 在 R e d i s 4 . 0 提 供 了 更 好 的 混 合 持 久 化 选 项 将 r d b 文 件 的 内 容 和 增 量 的 a o f 日 志 放 在 一 起 a o f 日 志 只 存 储 r d b 持 久 化 开 始 到 当 前 发 生 的 增 量 日 志 重 启 时 , 先 加 载 r b d 内 容 , 再 重 放 增 量 a o f 日 志 这 样 就 可 以 解 决 上 面 的 两 个 痛 点 概 述 R e d i s 是 个 内 存 数 据 库 , 数 据 全 部 存 储 在 内 存 中 , 如 果 突 然 宕 机 , 数 据 就 会 全 部 丢 失 , 因 此 有 了 将 数 据 刷 到 硬 盘 保 存 的 持 久 化 机 制 . R e d i s 持 久 化 分 两 种 方 式 , 一 种 是 R D B 快 照 , 另 一 种 是 A O F 日 志 . 快 照 就 是 全 量 备 份 , 内 存 数 据 的 二 进 制 序 列 化 形 式 , 在 存 储 上 非 常 紧 凑 . A O F 日 志 是 连 续 的 增 量 备 份 , 记 录 的 是 内 存 数 据 修 改 的 指 令 记 录 文 本 . 快 照 由 于 R e d i s 是 单 线 程 程 序 , 还 . . . 阅 读 全 文 . . . H T T P / 2 安 装 部 署 作 者 : a d m i n 时 间 : 2 0 1 8 0 2 1 1 分 类 : 工 具 评 论 本 文 讲 述 如 何 部 署 H T T P S 和 H T T P 2 , 后 续 会 再 整 理 其 他 相 关 理 论 , 如 H T T P / 2 的 好 处 , H T T P / 2 与 H T T P S 的 关 系 , 从 H T T P / 1 . 1 升 级 到 H T T P / 2 有 什 么 要 注 意 的 , H T T P / 2 为 什 么 不 叫 H T T P / 2 . 0 环 境 U b u n t u 1 6 . 0 4 , n g i n x 1 . 1 2 . 2 ( 安 装 时 需 要 s s l 和 h t t p _ v 2 模 块 ) 获 取 S S L 证 书 获 取 证 书 有 多 种 方 式 , 购 买 ( 赛 门 铁 克 , 也 可 以 在 国 内 各 大 云 服 务 厂 商 购 买 ) , 自 签 名 , 免 费 的 F r e e S S L 等 本 文 说 明 是 使 用 的 是 免 费 的 F r e e S S L 在 F r e e S S L 上 根 据 提 示 操 作 下 载 得 到 两 个 文 件 f u l l _ c h a i n . p e m , p r i v a t e . k e y 就 是 我 们 后 面 要 用 到 的 部 署 H T T P S 部 署 H T T P / 2 必 须 要 先 部 署 h t t p s , 这 里 用 n g i n x 配 置 s s l 证 书 , 在 n g i n x . c o n f 中 添 加 : s e r v e r 如 果 强 制 h t t p 跳 转 到 h t t p s , 再 自 己 在 原 有 s e r v e r 里 加 r e w r i t e , 验 证 配 置 文 件 有 效 后 重 启 n g i n x , 就 可 以 使 用 h t t p s 访 问 站 点 了 # 验 证 n g i n x 配 置 文 件 s u d o n g i n x t # r e l o a d s u d o s e r v i c e n g i n x r e l o a d 配 置 H T T P / 2 ( N g i n x ) 查 看 n g i n x 是 否 编 译 了 h t t p _ v 2 _ m o d u l e 模 块 ➜ s u d o n g i n x V n g i n x v e r s i o n : n g i n x / 1 . 1 3 . 9 b u i l t b y g c c 5 . 4 . 0 2 0 1 6 0 6 0 9 ( U b u n t u 5 . 4 . 0 6 u b u n t u 1 ~ 1 6 . 0 4 . 9 ) b u i l t w i t h O p e n S S L 1 . 0 . 2 l 2 5 M a y 2 0 1 7 T L S S N I s u p p o r t e n a b l e d c o n f i g u r e a r g u m e n t s : u s e r = w w w g r o u p = w w w p r e f i x = / u s r / l o c a l / n g i n x w i t h h t t p _ s t u b _ s t a t u s _ m o d u l e w i t h h t t p _ s s l _ m o d u l e w i t h h t t p _ v 2 _ m o d u l e w i t h h t t p _ g z i p _ s t a t i c _ m o d u l e w i t h i p v 6 w i t h h t t p _ s u b _ m o d u l e w i t h o p e n s s l = / h o m e / j w / 下 载 / l n m p 1 . 4 f u l l / s r c / o p e n s s l 1 . 0 . 2 l 修 改 n g i n x 配 置 文 件 , 在 h t t p s 配 置 里 加 h t t p 2 关 键 字 就 可 以 了 s e r v e r 重 启 n g i n x 就 可 以 了 , 更 多 关 于 n g i n x h t t p 2 的 详 细 配 置 验 证 建 议 安 装 c h r o m e 的 扩 展 H T T P / 2 a n d S P D Y i n d i c a t o r 方 便 查 看 , 当 你 浏 览 的 网 页 是 H T T P / 2 的 时 候 , 闪 电 图 标 直 接 亮 起 点 击 图 标 , 查 看 详 细 打 开 c h r o m e 的 调 试 工 具 , 添 加 上 P r o t o c o l , 能 看 到 当 前 域 名 已 经 变 成 h 2 H T T P _ P U S H 最 新 版 本 的 n g i n x 1 . 1 3 . 9 已 经 支 持 H T T P / 2 S e r v e r P u s h 本 文 讲 述 如 何 部 署 H T T P S 和 H T T P 2 , 后 续 会 再 整 理 其 他 相 关 理 论 , 如 H T T P / 2 的 好 处 , H T T P / 2 与 H T T P S 的 关 系 , 从 H T T P / 1 . 1 升 级 到 H T T P / 2 有 什 么 要 注 意 的 , H T T P / 2 为 什 么 不 叫 H T T P / 2 . 0 环 境 U b u n t u 1 6 . 0 4 , n g i n x 1 . 1 2 . 2 ( 安 装 时 需 要 s s l 和 h t t p _ v 2 模 块 ) 获 取 S S L 证 书 获 取 证 书 有 多 种 方 式 , 购 . . . 阅 读 全 文 . . . e s 报 错 e s _ r e j e c t e d _ e x e c u t i o n _ e x c e p t i o n [ s t a t u s : 4 2 9 ] 作 者 : a d m i n 时 间 : 2 0 1 7 1 1 2 2 分 类 : 工 具 , 数 据 评 论 描 述 使 用 g o m y s q l e l a s t i c s e a r c h 同 步 m y s q l 数 据 到 e l a s t i c s e a r c h 时 , 由 于 量 大 出 现 一 个 错 误 , 如 下 : t i m e = 2 0 1 7 1 1 2 1 T 1 8 : 2 0 : 3 5 + 0 8 : 0 0 l e v e l = e r r o r m s g = u p d a t e i n d e x : p r o d _ d b _ r o o m , t y p e : r o o m , i d : 5 5 6 3 1 4 , s t a t u s : 4 2 9 , e r r o r : t i m e = 2 0 1 7 1 1 2 1 T 1 8 : 2 0 : 3 5 + 0 8 : 0 0 l e v e l = e r r o r m s g = u p d a t e i n d e x : p r o d _ d b _ v d o i d , t y p e : v d o i d , i d : 6 9 2 6 6 6 0 , s t a t u s : 4 2 9 , e r r o r : 分 析 从 报 错 信 息 初 步 判 断 是 并 发 量 大 , 可 用 的 8 个 线 程 和 5 0 个 长 度 的 队 列 不 够 用 了 , 处 理 不 过 来 解 决 参 考 官 方 文 档 , 注 意 我 这 是 2 . 4 版 本 的 文 档 , 各 位 看 官 可 以 根 据 自 己 的 e s 版 本 在 右 侧 选 择 对 应 版 本 的 文 档 , 在 目 录 中 依 次 点 击 M o d u l e s T h r e a d p o o l 看 你 使 用 的 版 本 说 明 , 其 实 这 块 基 本 通 用 , 不 同 版 本 变 化 不 大 在 e l a s t i c s e a r c h . y m l 文 件 末 尾 添 加 如 下 配 置 后 重 启 e s 即 可 : t h r e a d p o o l . b u l k . t y p e : f i x e d t h r e a d p o o l . b u l k . s i z e : 8 t h r e a d p o o l . b u l k . q u e u e _ s i z e : 1 0 0 0 其 中 : t y p e 是 要 配 置 的 线 程 池 类 型 b u l k 批 量 操 作 , 也 就 是 我 们 上 面 报 错 里 提 示 的 i n d e x 用 于 索 引 / 删 除 操 作 s e a r c h 计 数 / 搜 索 / 建 议 操 作 g e t 获 取 操 作 s n a p s h o t 用 于 快 照 / 恢 复 操 作 r e f r e s h 用 于 刷 新 操 作 s i z e 线 程 数 量 , 一 般 设 置 为 c p u 核 数 q u e u e _ s i z e 等 待 线 程 处 理 的 队 列 容 量 其 它 增 加 线 程 和 队 列 容 量 是 一 种 解 决 办 法 , 另 外 节 点 数 量 和 分 片 的 分 布 也 是 影 响 原 因 以 批 量 操 作 为 例 , 队 列 默 认 配 置 是 5 0 个 容 量 , 如 果 3 个 节 点 都 是 8 核 , 那 批 量 操 作 的 并 发 最 大 是 5 0 3 8 = 1 2 0 0 , 如 果 分 片 都 在 同 一 台 机 器 上 , 那 可 能 只 有 4 0 0 所 以 , 增 加 节 点 数 和 均 匀 分 布 分 片 也 很 重 要 描 述 使 用 g o m y s q l e l a s t i c s e a r c h 同 步 m y s q l 数 据 到 e l a s t i c s e a r c h 时 , 由 于 量 大 出 现 一 个 错 误 , 如 下 : t i m e = 2 0 1 7 1 1 2 1 T 1 8 : 2 0 : 3 5 + 0 8 : 0 0 l e v e l = e r r o r m s g = u p d a t e i n d e x : p r o d _ d b _ r o o m , t y p e : r o o m , i d : 5 5 6 3 1 4 , s t a t u s : . . . 阅 读 全 文 . . . E l a s t i c s e a r c h 添 加 权 限 管 理 作 者 : a d m i n 时 间 : 2 0 1 7 0 7 1 9 分 类 : 工 具 , 数 据 评 论 E l a s t i c s e a r c h 默 认 是 没 有 权 限 管 理 的 , 只 要 能 p i n g 通 地 址 的 地 方 就 可 以 读 写 数 据 , 所 以 还 是 很 危 险 的 , 这 里 选 择 使 用 插 件 s h i e l d 来 实 现 环 境 版 本 E l a s t i c s e a r c h 2 . 4 . 4 插 件 安 装 # 这 是 收 费 插 件 , 安 装 后 免 费 使 用 一 个 月 , 到 期 后 集 群 功 能 不 能 用 , 但 基 本 a p i 不 受 影 响 b i n / p l u g i n i n s t a l l l i c e n s e b i n / p l u g i n i n s t a l l s h i e l d s e r v i c e e l a s t i c s e a r c h r e s t a r t 添 加 用 户 # l i o n 是 用 户 名 , 可 以 改 成 自 己 想 要 的 b i n / s h i e l d / e s u s e r s u s e r a d d l i o n r a d m i n # 再 输 入 两 次 密 码 即 可 常 用 用 户 管 理 命 令 : b i n / s h i e l d / e s u s e r s h # 查 看 帮 助 b i n / s h i e l d / e s u s e r s l i s t # 查 看 用 户 列 表 b i n / s h i e l d / e s u s e r s p a s s w d l i o n # 修 改 密 码 b i n / s h i e l d / e s u s e r s u s e r d e l l i o n # 删 除 用 户 在 c l i 环 境 下 操 作 e l a s t i c s e a r c h 加 u 用 户 名 c u r l u l i o n x . x . x . x : 9 2 0 0 / _ c a t / i n d i c e s ? p r e t t y # 按 提 示 输 出 密 码 K i b a n a 配 置 在 k i b a n a 配 置 文 件 K A F K A _ P A T H / c o n f i g / k i b a n a . y m l 里 添 加 帐 号 密 码 e l a s t i c s e a r c h . u s e r n a m e : l i o n e l a s t i c s e a r c h . p a s s w o r d : x x x x x x x 再 重 启 k i b a n a L o g s t a s h 配 置 e l a s t i c s e a r c h o u t p u t 里 添 加 两 项 : e l a s t i c s e a r c h H a n g o u t 配 置 H a n g o u t 是 携 程 团 队 用 j a v a 开 发 的 代 替 l o g s t a s h 的 一 个 日 志 手 机 工 具 , 还 未 提 供 h t t p s s l 认 证 支 持 . . . p h p e l a s t i c s e a r c h 配 置 p h p e l a s t i c s e a r c h 里 初 始 化 e l a s t i c s e a r c h 连 接 一 般 使 用 这 种 方 式 $ c l i e n t = C l i e n t B u i l d e r : : c r e a t e ( ) s e t H o s t s ( $ h o s t s ) b u i l d ( ) ; 修 改 $ h o s t s 这 里 第 一 种 方 式 : $ h o s t s = [ / / T h i s i s e f f e c t i v e l y e q u a l t o : h t t p s : / / u s e r n a m e : p a s s w o r d ! # $ ? * a b c @ f o o . c o m : 9 2 0 0 / [ h o s t = > f o o . c o m , p o r t = > 9 2 0 0 , s c h e m e = > h t t p s , u s e r = > u s e r n a m e , p a s s w o r d = > p a s s w o r d ! # $ ? * a b c ] , / / T h i s i s e q u a l t o h t t p : / / l o c a l h o s t : 9 2 0 0 / [ h o s t = > l o c a l h o s t , / / O n l y h o s t i s r e q u i r e d ] ] ; 第 二 种 方 式 , 简 单 , 推 荐 $ h o s t s = [ h t t p : / / u s e r : p a s s @ l o c a l h o s t : 9 2 0 0 , / / H T T P B a s i c A u t h e n t i c a t i o n h t t p : / / u s e r 2 : p a s s 2 @ o t h e r h o s t . c o m : 9 2 0 0 / / D i f f e r e n t c r e d e n t i a l s o n d i f f e r e n t h o s t ] ; 取 消 权 限 认 证 如 果 设 置 后 想 取 消 , 光 删 除 用 户 是 没 用 的 , 需 要 卸 载 s h i e l d 插 件 b i n / p l u g i n r e m o v e s h i e l d E l a s t i c s e a r c h 默 认 是 没 有 权 限 管 理 的 , 只 要 能 p i n g 通 地 址 的 地 方 就 可 以 读 写 数 据 , 所 以 还 是 很 危 险 的 , 这 里 选 择 使 用 插 件 s h i e l d 来 实 现 环 境 版 本 E l a s t i c s e a r c h 2 . 4 . 4 插 件 安 装 # 这 是 收 费 插 件 , 安 装 后 免 费 使 用 一 个 月 , 到 期 后 集 群 功 能 不 能 用 , 但 基 本 a p i 不 受 影 响 b i n / p l u g i n i n s t a l l l i c e n s e b i n / p l u g i n i n s t a l l . . . 阅 读 全 文 . . . K a f k a 迁 移 T o p i c s 作 者 : a d m i n 时 间 : 2 0 1 7 0 6 1 3 分 类 : 工 具 , 数 据 评 论 K a f k a 扩 展 为 集 群 后 , 需 要 把 原 单 机 上 的 部 分 大 t o p i c 平 衡 到 新 b r o k e r 上 旧 k a f k a 的 b r o k e r i d 为 0 , 新 机 器 的 是 1 迁 移 第 一 步 创 建 m o v e . j s o n ] , v e r s i o n : 1 } 第 二 步 生 成 迁 移 分 配 规 则 j s o n 文 件 注 意 b r o k e r l i s t 我 想 所 有 分 区 都 迁 移 到 新 机 器 , 所 以 只 写 了 1 , 可 以 写 0 , 1 b i n / k a f k a r e a s s i g n p a r t i t i o n s . s h z o o k e e p e r l o c a l h o s t : 2 1 8 1 t o p i c s t o m o v e j s o n f i l e m o v e . j s o n b r o k e r l i s t 1 g e n e r a t e 执 行 结 果 : C u r r e n t p a r t i t i o n r e p l i c a a s s i g n m e n t , , , , , , , , , , , , , , , ] } P r o p o s e d p a r t i t i o n r e a s s i g n m e n t c o n f i g u r a t i o n , , , , , , , , , , , , , , , ] } 第 三 步 拷 贝 生 成 的 j s o n 内 容 ( 第 二 段 ) 到 新 文 件 r e a s s i g n m e n t . j s o n 中 , 然 后 执 行 b i n / k a f k a r e a s s i g n p a r t i t i o n s . s h z o o k e e p e r l o c a l h o s t : 2 1 8 1 r e a s s i g n m e n t j s o n f i l e r e a s s i g n m e n t . j s o n e x e c u t e 第 四 步 查 看 t o p i c s b i n / k a f k a t o p i c s . s h z o o k e e p e r l o c a l h o s t : 2 1 8 1 d e s c r i b e t o p i c t e s t 2 T o p i c : t e s t 2 P a r t i t i o n C o u n t : 1 6 R e p l i c a t i o n F a c t o r : 2 C o n f i g s : T o p i c : t e s t 2 P a r t i t i o n : 0 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 1 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 2 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 3 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 4 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 5 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 6 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 7 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 8 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 9 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 1 0 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 1 1 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 1 2 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 1 3 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 1 4 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 1 5 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 如 果 t o p i c s 比 较 大 , 迁 移 需 要 一 会 儿 , 这 个 时 候 R e p l i c a s 是 b r o k e r 的 0 , 1 共 有 , 稍 后 一 会 儿 迁 移 完 成 后 再 查 看 T o p i c : t e s t 2 P a r t i t i o n C o u n t : 1 6 R e p l i c a t i o n F a c t o r : 1 C o n f i g s : T o p i c : t e s t 2 P a r t i t i o n : 0 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 1 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 2 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 3 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 4 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 5 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 6 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 7 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 8 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 9 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 1 0 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 1 1 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 1 2 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 1 3 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 1 4 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 1 5 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 参 考 文 档 : h t t p : / / b l o g . c s d n . n e t / l o u i s l i a o x h / a r t i c l e / d e t a i l s / 5 1 6 0 5 1 4 6 K a f k a 扩 展 为 集 群 后 , 需 要 把 原 单 机 上 的 部 分 大 t o p i c 平 衡 到 新 b r o k e r 上 旧 k a f k a 的 b r o k e r i d 为 0 , 新 机 器 的 是 1 迁 移 第 一 步 创 建 m o v e . j s o n ] , v e r s i o n & q u o . . . 阅 读 全 文 . . . K a f k a 和 Z o o k e e p e r 单 机 扩 展 为 集 群 的 笔 记 ( 内 附 一 个 小 问 题 的 解 决 ) 作 者 : a d m i n 时 间 : 2 0 1 7 0 6 1 3 分 类 : 工 具 , 数 据 评 论 k a f k a 版 本 k a f k a _ 2 . 1 1 0 . 1 0 . 1 . 0 我 用 的 z o o k e e p e r 是 k a f k a 自 带 的 旧 机 器 i p : x . x . x . x 新 机 器 y . y . y . y 起 因 之 前 k a f k a 一 直 是 单 机 跑 , 由 于 容 量 需 要 扩 容 , 所 以 新 增 一 台 机 器 将 z o o k e e p e r 和 k a f k a 都 扩 展 为 集 群 文 章 最 后 附 a n s i b l e 的 安 装 脚 本 Z o o k e e p e r 旧 机 器 的 编 号 是 0 , 新 机 器 编 号 1 , 主 要 修 改 下 配 置 就 可 以 自 动 加 入 集 群 了 # 新 机 器 上 添 加 z o o k e e p e r 编 号 e c h o 1 > / d a t a / z o o k e e p e r / m y i d # 新 旧 机 器 都 修 改 z o o k e e p e r . p r o p e r t i e s 文 件 s e r v e r . 0 = x . x . x . x : 2 8 8 8 : 3 8 8 8 s e r v e r . 1 = y . y . y . y : 2 8 8 8 : 3 8 8 8 K a f k a k a f k a 的 b r o k e r 也 需 要 编 号 , 需 要 在 新 机 器 上 修 改 的 配 置 如 下 , s e r v e r . p r o p e r t i e s 文 件 b r o k e r . i d = 1 a d v e r t i s e d . l i s t e n e r s = P L A I N T E X T : / / y . y . y . y : 9 0 9 2 z o o k e e p e r . c o n n e c t = x . x . x . x : 2 1 8 1 , y . y . y . y : 2 1 8 1 查 看 是 否 成 功 b i n / z o o k e e p e r s h e l l . s h l o c a l h o s t : 2 1 8 1 l s / b r o k e r s / i d s / 遇 到 的 问 题 K a f k a 启 动 的 时 候 报 错 [ 2 0 1 7 0 6 1 3 1 0 : 0 7 : 2 4 , 0 2 5 ] E R R O R P r o c e s s o r g o t u n c a u g h t e x c e p t i o n . ( k a f k a . n e t w o r k . P r o c e s s o r ) j a v a . l a n g . N o C l a s s D e f F o u n d E r r o r : C o u l d n o t i n i t i a l i z e c l a s s k a f k a . n e t w o r k . R e q u e s t C h a n n e l $ a t k a f k a . n e t w o r k . R e q u e s t C h a n n e l $ R e q u e s t . ( R e q u e s t C h a n n e l . s c a l a : 1 1 4 ) a t k a f k a . n e t w o r k . P r o c e s s o r $ $ a n o n f u n $ p r o c e s s C o m p l e t e d R e c e i v e s $ 1 . a p p l y ( S o c k e t S e r v e r . s c a l a : 4 9 2 ) a t k a f k a . n e t w o r k . P r o c e s s o r $ $ a n o n f u n $ p r o c e s s C o m p l e t e d R e c e i v e s $ 1 . a p p l y ( S o c k e t S e r v e r . s c a l a : 4 8 7 ) a t s c a l a . c o l l e c t i o n . I t e r a t o r $ c l a s s . f o r e a c h ( I t e r a t o r . s c a l a : 8 9 3 ) a t s c a l a . c o l l e c t i o n . A b s t r a c t I t e r a t o r . f o r e a c h ( I t e r a t o r . s c a l a : 1 3 3 6 ) a t s c a l a . c o l l e c t i o n . I t e r a b l e L i k e $ c l a s s . f o r e a c h ( I t e r a b l e L i k e . s c a l a : 7 2 ) a t s c a l a . c o l l e c t i o n . A b s t r a c t I t e r a b l e . f o r e a c h ( I t e r a b l e . s c a l a : 5 4 ) a t k a f k a . n e t w o r k . P r o c e s s o r . p r o c e s s C o m p l e t e d R e c e i v e s ( S o c k e t S e r v e r . s c a l a : 4 8 7 ) a t k a f k a . n e t w o r k . P r o c e s s o r . r u n ( S o c k e t S e r v e r . s c a l a : 4 1 7 ) a t j a v a . l a n g . T h r e a d . r u n ( T h r e a d . j a v a : 7 4 8 ) 一 番 百 度 搜 索 后 , 有 人 说 是 j a v a 的 小 版 本 号 不 一 致 问 题 , 有 人 说 要 停 掉 旧 k a f k a 机 器 再 启 动 . 然 而 我 觉 得 并 不 是 这 么 肤 浅 的 原 因 , 然 后 没 招 就 去 搜 旧 的 j a v a 安 装 包 没 找 到 , 果 断 放 弃 了 , 最 终 只 要 加 下 h o s t s 就 解 决 了 # 新 机 器 上 v i m / e t c / h o s t s y . y . y . y y y y y 后 来 请 教 朋 友 得 到 的 解 释 是 , 光 p i n g 是 没 用 的 ， L i n u x 上 的 很 多 服 务 都 会 先 解 析 主 机 名 的 , 好 吧 又 涨 见 识 了 A n s i b l e 部 署 脚 本 # t a s k s / m a i n . y m l n a m e : 检 测 是 否 已 安 装 s t a t : p a t h : / u s r / l o c a l / k a f k a r e g i s t e r : k a f k a n a m e : 解 压 安 装 包 u n a r c h i v e : s r c = s r c / k a f k a _ 2 . 1 1 0 . 1 0 . 1 . 0 . t g z d e s t = / u s r / l o c a l / w h e n : k a f k a . s t a t . e x i s t s = = F a l s e n a m e : 重 命 名 目 录 s h e l l : } w i t h _ i t e m s : m v / u s r / l o c a l / k a f k a _ 2 . 1 1 0 . 1 0 . 1 . 0 / u s r / l o c a l / k a f k a w h e n : k a f k a . s t a t . e x i s t s = = F a l s e n a m e : 创 建 k a f k a 目 录 f i l e : p a t h : } s t a t e : d i r e c t o r y w i t h _ i t e m s : / d a t a / z o o k e e p e r / d a t a / l o g / k a f k a n a m e : i n i t s h e l l : e c h o 1 > / d a t a / z o o k e e p e r / m y i d n a m e : 复 制 k a f k a & z o o k e e p e r 配 置 文 件 t e m p l a t e : s r c : } d e s t : / u s r / l o c a l / k a f k a / c o n f i g / } w i t h _ i t e m s : s e r v e r . p r o p e r t i e s z o o k e e p e r . p r o p e r t i e s n a m e : 复 制 s u p e r v i s o r 配 置 文 件 t e m p l a t e : s r c : } d e s t : / d a t a / s u p e r v i s o r / c o n f . d / } w i t h _ i t e m s : k a f k a . c o n f z o o k e e p e r . c o n f n a m e : 启 动 s u p e r v i s o r s h e l l : s u p e r v i s o r c t l u p d a t e k a f k a 版 本 k a f k a _ 2 . 1 1 0 . 1 0 . 1 . 0 我 用 的 z o o k e e p e r 是 k a f k a 自 带 的 旧 机 器 i p : x . x . x . x 新 机 器 y . y . y . y 起 因 之 前 k a f k a 一 直 是 单 机 跑 , 由 于 容 量 需 要 扩 容 , 所 以 新 增 一 台 机 器 将 z o o k e e p e r 和 k a f k a 都 扩 展 为 集 群 文 章 最 后 附 a n s i b l e 的 安 装 脚 本 Z o o k e e p e r 旧 机 器 的 编 号 是 0 , 新 机 器 编 号 1 , 主 要 修 改 下 配 置 就 . . . 阅 读 全 文 . . . 删 除 k a f k a 的 c o n s u m e r 和 t o p i c s 作 者 : a d m i n 时 间 : 2 0 1 7 0 5 3 1 分 类 : 数 据 库 , 工 具 , 数 据 评 论 谨 慎 操 作 k a f k a 版 本 0 . 1 0 删 除 c o n s u m e r s 原 因 : 重 置 o f f s e t , 或 者 是 强 迫 症 想 清 空 不 用 的 c o n s u m e r 操 作 : # 进 入 控 制 台 b i n / z o o k e e p e r s h e l l . s h l o c a l h o s t : 2 1 8 1 # 查 看 所 有 消 费 者 l s / c o n s u m e r s # f u c k r m r / c o n s u m e r s / h a n g o u # 再 查 看 没 了 l s / c o n s u m e r s 删 除 t o p i c s 原 因 : 腾 出 空 间 操 作 : 物 理 删 除 数 据 # 进 入 s e r v e r . p r o p e r t i e s 里 配 置 的 数 据 目 录 l o g . d i r s = / d a t a / k a f k a l o g s c d / d a t a / k a f k a l o g s / # 删 除 对 应 t o p i c 目 录 , 配 置 了 多 少 分 区 这 就 有 多 少 目 录 r m r f l i o n _ s q l l o g * 删 除 z o o k e e p e r 里 的 记 录 # 进 入 控 制 台 b i n / z o o k e e p e r s h e l l . s h l o c a l h o s t : 2 1 8 1 # 查 看 当 前 的 所 有 t o p i c s , 发 现 刚 删 除 的 t o p i c s 还 在 这 里 躺 着 l s / b r o k e r s / t o p i c s / # f u c k y o u r m r / b r o k e r s / t o p i c s / l i o n _ s q l l o g # 再 查 看 没 了 l s / b r o k e r s / t o p i c s 谨 慎 操 作 k a f k a 版 本 0 . 1 0 删 除 c o n s u m e r s 原 因 : 重 置 o f f s e t , 或 者 是 强 迫 症 想 清 空 不 用 的 c o n s u m e r 操 作 : # 进 入 控 制 台 b i n / z o o k e e p e r s h e l l . s h l o c a l h o s t : 2 1 8 1 # 查 看 所 有 消 费 者 l s / c o n s u m e r s # f u c k r m r / c o n s u m e r s / h a n g o u # 再 查 看 没 了 l s / c o n s u m e r s 删 除 t o p i c . . . 阅 读 全 文 . . . 1 2 3 4 . . . 6 后 一 页 » 文 章 搜 索 搜 索 文 章 分 类 P H P ( 2 0 ) J a v a S c r i p t ( 1 5 ) 操 作 系 统 ( 6 ) 数 据 库 ( 1 4 ) 杂 谈 ( 2 ) 生 活 ( 2 ) 工 具 ( 1 3 ) 数 据 ( 1 4 ) G o ( 1 ) P y t h o n ( 1 ) 最 新 文 章 R e d i s 的 通 信 协 议 R E S P R e d i s 的 优 胜 劣 汰 L R U 算 法 R e d i s 过 期 策 略 R e d i s 事 务 R e d i s 持 久 化 原 理 H T T P / 2 安 装 部 署 e s 报 错 e s _ r e j e c t e d _ e x e c u t i o n _ e x c e p t i o n [ s t a t u s : 4 2 9 ] E l a s t i c s e a r c h 添 加 权 限 管 理 K a f k a 迁 移 T o p i c s K a f k a 和 Z o o k e e p e r 单 机 扩 展 为 集 群 的 笔 记 ( 内 附 一 个 小 问 题 的 解 决 ) 归 档 M a r c h 2 0 1 9 F e b r u a r y 2 0 1 9 F e b r u a r y 2 0 1 8 N o v e m b e r 2 0 1 7 J u l y 2 0 1 7 J u n e 2 0 1 7 M a y 2 0 1 7 A p r i l 2 0 1 7 M a r c h 2 0 1 7 F e b r u a r y 2 0 1 7 J a n u a r y 2 0 1 7 D e c e m b e r 2 0 1 6 N o v e m b e r 2 0 1 6 A u g u s t 2 0 1 6 A p r i l 2 0 1 6 S e p t e m b e r 2 0 1 5 J u n e 2 0 1 5 M a y 2 0 1 5 A p r i l 2 0 1 5 M a r c h 2 0 1 5 F e b r u a r y 2 0 1 5 J a n u a r y 2 0 1 5 D e c e m b e r 2 0 1 4 N o v e m b e r 2 0 1 4 A u g u s t 2 0 1 4 J u l y 2 0 1 4 F e b r u a r y 2 0 1 4 J a n u a r y 2 0 1 4 D e c e m b e r 2 0 1 3 F e b r u a r y 2 0 1 3 最 新 评 论 热 门 标 签 E l a s t i c s e a r c h d i a n d i a n r e d i s m y s q l K a f k a j s t e x t a r e a c u r l 代 码 段 H i v e e l k 风 向 博 客 h i g h l i g h t l o a d d a t a i n f i l e t a b I n d e n t . j s c o n c a t t r i m j s o n p t a r j p e g 友 情 链 接 字 节 猫 w o r d p r e s s 企 业 模 板 © 2 0 2 4 江 伟 的 笔 记 . 沪 I C P 备 1 4 0 3 0 2 7 9 号 1

站点概括

关于www.jwsblog.com说明：
www.jwsblog.com由网友主动性提交被聚集网整理收录的，聚集网仅提供www.jwsblog.com的基础信息并免费向大众网友展示，www.jwsblog.com的是IP地址：220.181.168.180 [中国北京北京 电信]，www.jwsblog.com的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、www.jwsblog.com的备案号是沪ICP备14030279号、备案人叫江伟、被百度收录的关键词有0个、手机端关键词有0个、该站点迄今为止已经创建10年11个月1天。

内容声明：

1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：http://www.jujiwang.com/links/729f24a4070e1601488e.html，复制请保留版权链接！

---