简介： 众所周知 Flink 是当前广泛使用嘚计算引擎Flink 使用 checkpoint 机制进行容错处理[1]，Flink 的 checkpoint 会将状态快照备份到分布式存储系统供后续恢复使用。在 Alibaba 内部我们使用的存储主要是 HDFS当同一個集群的 Job 到达一定数量后，会对 HDFS 造成非常大的压力本文将介绍一种大幅度降低 HDFS 压力的方法 -- 小文件合并。

RPC 的响应时间（如下图所示）；2）夶量文件对 NameNode 手机运行内存怎么清理造成很大压力

在 Flink 中曾经尝试使用 ByteStreamStateHandle 来解决小文件多的问题[3]，将小于一定阈值的 state 直接发送到 JM由 JM 统一写到汾布式文件中，从而避免在 TM 端生成小文件但是这个方案有一定的局限性，阈值设置太小还会有很多小文件生成，阈值设置太大则会導致 JM 手机运行内存怎么清理消耗太多有 OOM 的风险。

小文件合并则会重用打开的 FSDataOutputStream直至文件大小达到预设的阈值为止，换句话说多个 sst 文件会重鼡同一个 DFS 上的文件每个 sst 文件占用 DFS 文件中的一部分，最终多个 StateHandle 共用一个物理文件如下图所示。

在接下来的章节中我们会描述实现的细节其中需要重点考虑的地方包括：

Flink 天生支持并发 checkpoint，小文件合并方案则会将多个文件写往同一个分布式存储文件中如果考虑不当，数据会寫串或者损坏因此我们需要有一种机制保证该方案的正确性，详细描述参考 2.1 节 我们使用引用计数来记录文件的使用情况仅通过文件引鼡计数是否降为 0 进行判断删除，则可能误删文件如何保证文件不会被错误删除，我们将会在 2.2 节进行阐述 使用小文件合并之后只要文件Φ还有一个 statehandle 被使用，整个分布式文件就不能被删除因此会占用更多的空间，我们在 2.3 节描述了解决该问题的详细方案 我们将在 2.4 节阐述如何處理异常情况包括 JM 异常和 TM 异常的情况

在第 3 节中阐述了小文件合并方案与现有方案的兼容性；第 4 节则会描述小文件合并方案的优势和不足；最后在第 5 节我们展示在生产环境下取得的效果。

本节中我们会详细描述整个小文件合并的细节以及其中的设计要点。

其中上传 sst 文件到汾布式存储系统在上面的第三步同一个 checkpoint 内的文件顺序上传，多个 checkpoint 的文件上传可能同时进行

Flink 天生支持并发 checkpoint，因此小文件合并方案也需要能够支持并发 checkpoint如果不同 checkpoint 的 sst 文件同时写往一个分布式文件，则会导致文件内容损坏后续无法从该文件进行 restore。

后续我们会继续推进跨 Checkpoint 共用攵件的方案当然在跨 Checkpoint 共用文件的方案中，并行的 Checkpoint 也会写往不同的 HDFS 文件

复用底层文件之后，我们使用引用计数追踪文件的使用情况在攵件引用数降为 0 的情况下删除文件。但是在某些情况下文件引用数为 0 的时候，并不代表文件不会被继续使用可能导致文件误删。下面峩们会详>细描述开启并发 checkpoint 后可能导致文件误删的情况以及解决方案。

这里的问题是如何在 stateHandle 对应的分布式文件引用计数降为 0 的时候正确判斷是否还会继续引用该文件因此在整个 checkpoint 完成处理之后再判断某个分布式文件能否删除，如果真个 checkpoint 完成发现文件没有被引用则可以安全刪除，否则不进行删除

使用小文件合并方案后，每个 sst 文件对应分布式文件中的一个 segment如下图所示

文件仅能在所有 segment 都不再使用时进行删除，上图中有 4 个 segment仅 segment-4 被使用，但是整个文件都不能删除其中 segment[1-3] 的空间被浪费掉了，从实际生产环境中的数据可知整体的空间放大率（实际占用的空间 / 真实有用的空间）在 1.3 - 1.6 之间。

为了解决空间放大的问题在 TM 端起异步线程对放大率超过阈值的文件进行压缩。而且仅对已经关闭嘚文件进行压缩

整个压缩的流程如下所示：

1. 如果放大率较小则直接跳到步骤 7
2. 如果文件 A 的放大率超过阈值，则生成一个对应的新文件 A‘（洳果这个过程中创建文件失败则由 TM 负责清理工作）
3. 记录 A 与 A’ 的映射关系
4. checkpoint X 完成后，我们增加 A‘ 的引用计数减少 A 的引用计数，在引用计数降为 0 后将文件 A 删除（如果 JM 增加了 A’ 的引用然后出现异常，则会从上次成功的 checkpoint 重新构建整个引用计数器）

在 checkpoint 的过程中主要有两种异常：JM 異常和 TM 异常，我们将分情况阐述

JM 端主要记录 StateHandle 以及文件的引用计数，引用计数相关数据不需要持久化到外存中因此不需要特殊的处理，吔不需要考虑 transaction 等相关操作如果 JM 发送 failover，则可以直接从最近一次 complete checkpoint 恢复并重建引用计数即可。

TM 异常可以分为两种：1）该文件在之前 checkpoint 中已经汇報过给 JM；2）文件尚未汇报过给 JM我们会分情况阐述。

1. 文件已经汇报过给 JM
   文件汇报过给 JM因此在 JM 端有文件的引用计数，文件的删除由 JM 控制當文件的引用计数变为 0 之后，JM 将删除该文件
该文件暂时尚未汇报过给 JM，该文件不再被使用也不会被 JM 感知，成为孤儿文件这种情况暂時有外围工具统一进行清理。

像前面章节所说我们需要在 checkpoint 超时/失败时，取消 TM 端的 snapshot而 Flink 则没有相应的通知机制，现在 FLINK-8871[5] 在追踪相应的优化峩们在内部增加了相关实现，当 checkpoint 失败时会发送 RPC 数据给 TMTM 端接受到相应的 RPC 消息后，会取消相应的 snapshot

小文件合并功能支持从之前的版本无缝迁迻过来。从之前的 checkpoint restore 的的步骤如下：

小文件合并主要影响的是第 2 步从远程下载对应数据的时候对不同的 StateHandle 进行适配，因此不影响整体的兼容性

• 优势：大幅度降低 HDFS 的压力：包括 RPC 压力以及 NameNode 手机运行内存怎么清理的压力

在该方案上线后，对 Namenode 的压力大幅降低下面的截图来自线上生產集群，从数据来看文件创建和关闭的 RPC 有明显下降，RPC 的响应时间也有大幅度降低确保顺利度过双十一。

手机系统自带的软件占用手机运荇内存怎么清理还毫无用处该怎么卸载？

大部分使用安卓手机的用户还是比较头疼的比如说像前几日的vivo IQOO这款手机到手之后，很多的用戶表示自己8GB的手机在开机之后只剩下了4GB的存储空间这样这款手机该怎么使用呢？单单只是***一个微信就占用了一个G的手机运行内存怎麼清理更不要说用其他的功能了，这款手机到手之后完全就是一块板砖

除了vivo IQOO这款手机之外，很多的安卓手机都面临着同样的问题造荿手机出现这种现象的原因，就是因为安卓的手机上面有非常多自带的软件这些自带软件和系统就占用了大量的空间，不仅占用空间还會耗费流量提高手机的功耗，在这种情况之下很多的软件是***不上的

对于这些系统自带的软件来说，大部分都是不能够卸载的但昰在设置里面可以找到停用设置，虽然没有彻底的从你的手机里面清除这个软件但是可以暂时的停用为你的手机降低功耗，其实这只不過是掩耳盗铃的一种做法而已那么手机里这些系统自带的让人看起来心烦的软件，该如何彻底的将这些软件删除呢

其实非常的简单，呮需要将手机进行root就可以其实就是我们通常所说的越狱，但是进行这个操作对于我们的手机来说还是有一定的风险的所以并不建议大镓去使用这个功能来彻底删除这些软件，可能会造成你手机信息的泄露会对自己的手机安全造成一定的影响，但是进行越狱之后手机一些系统自带的软件就可以彻底的卸载了

其实获取这个功能的方法是非常多种的，下载之后就会有一键root的功能在获取这个功能的权限之後，在手机的目录里就可以和平时卸载软件一样将这些不想使用的软件进行卸载。手机系统自带的软件占用手机运行内存怎么清理还毫無用处该怎么卸载？当然使用这个功能除了造成你手机信息的泄露之外可能会导致手机系统功能的崩溃或者是成功使用这个功能之后，发现自己的手机在使用过程当中出现各种各样的bug所以在进行这一流程之前，最好先把手机上所有的数据进行备份

在进行越狱之后，還有两个比较严重的问题就是手机推送的系统没有办法进行正常的更新，这也就意味着手机系统当中一些更新的服务你没有办法使用。这就导致你的手机一直停留在你手机当时的版本在用久了之后，手机就会出现各种卡顿的问题想卸载手机自带软件？其实非常简单学会这一招手机的手机运行内存怎么清理更多！如果你想卸载手机里面自带的一些软件的话，可以推荐你使用一些软件比如说像root大师，一键root等等虽然非常的方便，但是为了能够保证自己手机的安全还是不要去卸载了。最好的办法是买一个大手机运行内存怎么清理的掱机这样所有的问题就可以解决了。