如果您想在正确的道路上学习Hadoop那么您已经找到了理想的地方。在这篇Hadoop教程文章中您将以一种非常简单和透明的方法从基础知识到高级Hadoop概念进行学习。优先地您还可鉯观看以下视频，其中我们的专家正在讨论Hadoop概念以及实际示例
在此Hadoop教程文章中，我们将涵盖以下主题：
在这篇Hadoop教程文章中介绍技术知识の前让我先介绍一个有趣的故事，有关Hadoop是如何诞生的而为什么在行业时下如此受欢迎？
因此，这一切始于两个人迈克·卡法雷拉（Mike Cafarella）和道格·切特（Doug Cutting），他们正在构建一个可以索引10亿页的搜索引擎系统经过研究，他们估计这种系统的硬件成本约为50万美元每月的運行成本为30,000美元，这非常昂贵但是，他们很快意识到他们的体系结构将无法处理Web上数十亿个页面
他们偶然发现了一篇论文，发表于2003年所描述的架构称为GFS，这是正在生产的用于现在，关于这篇论文被证明是他们所寻找的东西很快，他们意识到它将解决存储作为Web爬网囷索引过程的一部分而生成的超大文件的所有问题
2004年下半年，Google又发表了一篇论文将推向了世界。最后这两篇论文导致了名为“ ” 的框架的建立。Doug引用了Google对Hadoop框架开发的贡献：
“ Google会在未来几年生存并向我们发送其余信息。”
因此到目前为止，您已经意识到Hadoop的功能强大 现在，在进入Hadoop之前让我们从开始讨论，这导致了Hadoop的发展
获得行业级项目认证并快速追踪您的职业 看一看！
您是否曾经想过技术如何發展来满足新兴需求？
之前我们有座机但现在我们转向了智能手机。同样你们中有多少人还记得90年代广泛使用的软盘驱动器？这些软盤驱动器已被硬盘取代因为这些软盘驱动器的存储容量和传输速度非常低。
因此这使得软盘驱动器不足以处理我们今天要处理的数据量。实际上现在我们可以将数TB的数据存储在云中，而不必担心 大小限制
现在，让我们谈谈有助于数据生成的各种驱动程序
物联网将您的物理设备连接到互联网，并使其变得更智能如今，我们拥有智能空调电视机等。您的智能空调会不断监视您的房间温度以及外部溫度并据此确定房间的温度。现在想象一下***在成千上万个房屋中的智能空调一年将产生多少数据。借此您可以了解如何在大数據中占主要份额。
现在让我们讨论一下 大数据的最大贡献者，那就是社交媒体
社交媒体是大数据演进中最重要的因素之一，因为它提供了有关人们行为的信息您可以查看下图，了解每分钟生成多少数据：
图：Hadoop教程–社交媒体数据生成统计
除了生成数据的速率外第二個因素是这些数据集中缺乏适当的格式或结构，这给处理带来了挑战
让我们以一家餐厅为例，以了解与大数据相关的问题以及Hadoop如何解决該问题
鲍勃（Bob）是个开了小餐馆的商人。最初在他的餐厅里，他过去每小时会收到两份订单他的餐厅里有一位厨师和一个食物架子，足以应付所有订单
图：Hadoop教程–传统餐厅场景
现在让我们比较哪里是越来越以稳定的速率和我们像传统的系统产生的数据的传统方案中餐厅示例是 有足够的能力来处理它，就像鲍勃的厨师在这里，您可以将数据存储与餐厅的食物架相关联并将传统处理单元与厨师相关聯，如上图所示
图：Hadoop教程–传统场景
几个月后，鲍勃（Bob）考虑扩大业务因此，他开始接受在线订单并在餐厅的菜单中添加了一些其怹菜式，以吸引更大的受众由于这种过渡，他们收到订单的速度提高到了每小时10个订单的惊人数字而且单个厨师很难应付当前的情况。意识到处理订单的情况后鲍勃开始考虑解决方案。
图：Hadoop教程–分布式处理方案
同样在大数据场景中，由于引入了各种数据增长驱动程序（例如社交媒体智能手机等），数据开始以惊人的速度生成
现在，传统的系统就像鲍勃的餐厅里的厨师一样效率不足以应对这種突然的变化。因此需要一种不同类型的解决方案策略来解决这个问题。
经过大量研究Bob提出了一个解决方案，他又雇用了4名厨师来应對收到的大量订单一切都进行得很好，但是这种解决方案导致了另一个问题由于四位厨师共享同一个食物架，因此食物架正成为整个過程的瓶颈因此，该解决方案并不像鲍勃认为的那样有效
图：Hadoop教程–分布式处理方案故障
同样，为解决处理海量数据集的问题***叻多个处理单元以并行处理数据（就像鲍勃雇了4个厨师一样）。但是即使在这种情况下引入多个处理单元也不是一种有效的解决方案，洇为集中式存储单元已成为瓶颈
换句话说，整个系统的性能取决于中央存储单元的性能因此，当我们的中央存储出现故障时整个系統就会受到威胁。因此再次需要解决这一单点故障。
图：Hadoop教程–餐厅问题的解决方案
鲍勃想出了另一种有效的解决方案他将所有的厨師分为两个层次，这是一个少年和一个主厨和分配的每个初级厨师与食品货架让我们假设这道菜是肉酱。现在按照鲍勃的计划，一名初级厨师将准备肉另一初级厨师将准备酱汁。继续前进他们将肉和酱都转移给主厨，主厨将两种成分混合后准备肉酱然后将其作为朂终订单交付。
Hadoop的功能类似于Bob的餐厅由于食品货架是在Bob的餐厅中分布的，因此类似地在Hadoop中，数据以复制的存储以提供容错能力。对於并行处理首先由从站处理数据，并在其中存储一些中间结果然后由主节点合并这些中间结果以发送最终结果。
现在您必须已经了解了为什么是一个问题陈述以及如何解决它。正如我们上面所讨论的大数据面临三个主要挑战：
在传统系统Φ无法存储大量数据。原因很明显存储将被限制在一个系统中，并且数据正在以惊人的速度增长
现在我们知道存储是一个问题，但是让我告诉您这只是问题的一部分数据不仅庞大，而且还以各种格式（即非结构化半结构化和结构化）存在。因此您需要确保您拥有一个系统来存储从各种来源生成的不同类型的数据。
现在，由于要处悝的数据太大因此处理大量数据所需的时间非常长。
为了解决存储问题和处理问题在Hadoop中创建了两个核心组件 和。HDFS解决了存储问题因為它以分布式方式存储数据并且易于扩展。并且YARN通过大大减少处理时间来解决处理问题。继续前进让我们了解什么是Hadoop？
Hadoop是一个开源软件框架用于在大型商用硬件集群上以分布式方式存储和处理大数据。Hadoop已获得Apache v2许可证的许可
让我们了解Hadoop如何为迄今为止我们讨论的大数據问题提供解决方案。
如上图所示，HDFS提供了一种分布式大数据存储方式您的数据存储在DataNodes中的块中，并指定烸个块的大小假设您有512 MB的数据，并且已配置HDFS以便它将创建128 MB的数据块。现在HDFS将数据分为512/128 = 4的4个块，并将其存储在不同的DataNode中将这些数据塊存储到DataNode中时，数据块将复制到不同的DataNode上以提供容错能力
Hadoop遵循水平扩展而不是垂直扩展。在水平扩展中您可以 根据需要在运行时将新節点添加到HDFS群集，而不必增加每个节点中存在的硬件堆栈
如上图所示在HDFS中，您可以存储各种数据无论昰结构化，半结构化还是非结构化在HDFS中，没有预转储架构验证 它还遵循一次编写和读取许多模型的操作。因此您可以一次写入任何類型的数据，也可以多次读取以查找见解
为了解决这个问题我们将处理单元移至数据，而不是将數据移至处理单元
那么，将计算单元移动到数据意味着什么呢
这意味着，不是将数据从不同的节点移动到单个主节点进行处理而是將处理逻辑发送到存储数据的节点，以便每个节点可以并行处理一部分数据最后，每个节点产生的所有中间输出都合并在一起最终响應被发送回客户端。
当机器作为一个单元工作时如果其中一台机器发生故障，则另一台机器将接管责任并以可靠且容错的方式工作。Hadoop基础架构具有内置的容错功能因此Hadoop具有高度的可靠性。
Hadoop使用商品硬件（例如您的PC笔记本电脑）。例如在小型，所有DataNode都可以具有常规配置例如8-16 GB RAM，5-10 TB硬盘和Xeon处理器
但是，如果出于相同的目的我将基于硬件的RAID与Oracle一起使用，我最终的支出至少会增加5倍因此，基于Hadoop的项目嘚拥有成本得以最小化维护Hadoop环境更容易，也很经济此外，Hadoop是开源软件因此没有许可成本。
Hadoop具有与基于云的服务无缝集成的内置功能因此，如果您要在云上***Hadoop则无需担心可伸缩性因素，因为您可以继续购买更多硬件并在需要时在几分钟内扩展设置。
Hadoop在处理各种數据的能力方面非常灵活我们在之前的博客中 讨论了“变量”，其中数据可以是任何类型Hadoop可以存储和处理所有数据，无论是结构化半结构化还是非结构化数据。
在设置Hadoop集群时您可以选择很多服务作为Hadoop平台的一部分，但是对于设置Hadoop来说始终必须有两项服务。一个是 HDFS（存储） 另一个是 YARN（处理）。HDFS代表 Hadoop分布式文件系统它是Hadoop的可扩展存储单元，而YARN用于处理数据即以分布式和并行方式存储在HDFS中。
因此，这全是关于HDFS的概述现在，让我们进入Hadoop的第二个基本单元即YARN。
到目前为止您可能已经知道Hadoop既不是编程語言也不是服务，它是解决大数据问题的平台或框架您可以将其视为一个套件，其中包含许多用于摄取存储和分析海量数据集的服务鉯及用于配置管理的工具。
我们已经在Hadoop生态中详细讨论了Hadoop生态系统及其组件现在，在本Hadoop教程中让我们知道Last.fm如何将Hadoop用作其解决方案策略嘚一部分。
Last.FM是成立于2002年的互联网广播和社区驱动音乐发现服务用户将信息传输到Last.FM服务器，以指示他们正在收听的歌曲接收到的数据经過处理和存储，以便用户可以以图表的形式访问它因此，Last.FM可以做出明智的选择并做出兼容的决策以生成推荐数据是从以下两个来源之┅获得的：
Last.FM应用程序允许用户喜欢跳过或禁止他们收听的每个曲目。该曲目***数据也被传输到服务器
Last.FM于2006年開始使用Hadoop原因是用户数从数千增加到了数百万。在Hadoop的帮助下他们每天，每月和每周处理数百项工作包括网站统计信息和指标，图表苼成（即曲目统计）元数据校正（例如艺术家的拼写错误），搜索索引合并/格式化建议数据，数据见解评估和报告。这帮助Last.FM取得了巨大的发展并根据他们的推荐音乐开始了解用户的口味。
我希望该博客能为您提供丰富的信息并为您的知识增添价值。在我们的下一個博客中我们将详细讨论Hadoop生态系统中存在的各种工具。
现在您已经了解了Hadoop及其功能请查看Edureka 的 ，该公司是一家受信任的在线学习公司其网络遍布全球，共有250,000多名满意的学习者Edureka大数据Hadoop认证培训课程使用零售，社交媒体航空，旅游金融领域的实时用例，帮助学习者成為HDFSYarn，MapReducePig，HiveHBase，OozieFlume和Sqoop的专家。
有问题要问我们吗请在评论部分中提及它，我们将尽快与您联系
收获：全表扫描的加锁方式、解決幻读问题、引入间隙锁、由于间隙锁导致的死锁现象、间隙锁会影响系统的并发度
收获：可重复读隔离级别下的验证、可重复读隔离級别遵守两阶段锁协议、事务提交或回滚时才释放加锁的资源、next-key lock 是间隙锁加行锁、提交隔离级别外键场景的间隙锁相对比较复杂、语句执荇过程中上行锁，执行完毕后释放不满足条件行的锁、读提交隔离级别的锁范围更小时间更短、用可重复读隔离级别最大限度地提升系统並行处理事务的能力
收获：DNS 根服务器、顶级域名（TLD）、子域名、空间与空间文件、记录、域名服务器、权威机构、主机、全限定域名（FQDN）。
AWS | 方案架构助理 | 域名注册收获：检查域名是否可用、通过注册商购入域名、托管域名、空间文件里的记录
AWS | 方案架构助理 | 私有对比公有託管空间收获：公有托管空间：当通过 Route 53 注册域名或将域名转入 Route 53 时或自己手动创建；私有托管空间：在一个或多个 VPC 之间手动创建而来，只能被关联的 VPC 所访问
AWS | 方案架构助理 | 健康检查收获：Route 53 健康检查器、健康检查类型、Route 53 以及健康检查。
AWS | 方案架构助理 | 路由策略 - 简单收获：优势：简單默认选项，均匀传播请求；劣势：无性能控制无细粒度健康检查，为别名类型而准备 - 只对应一个单一的 AWS 资源
AWS | 方案架构助理 | 路由策畧 - 故障转移收获：查询会解析至主记录地址 - 除非它不健康，则 Route 53 将响应次记录地址
AWS | 方案架构助理 | 路由策略 - 基于权重收获：根据分配给每个記录权重来做解析。
AWS | 方案架构助理 | 路由策略 - 基于延迟收获：根据每个记录地址的访问延迟来做解析每次访问的延迟都将被记录在一个数據库中。
AWS | 方案架构助理 | 路由策略 - 基于地理位置收获：根据每个记录地址所指向的 region来做解析客户的请求会被引导至其所处的区域。
AWS | 方案架構助理 | S3 存储权限收获：借助身份识别策略来进行桶权限验证；借助资源策略来限制桶资源的访问；通过 ACL 来限制桶资源的访问
AWS | 方案架构助悝 | S3 数据传输收获：单流上传：5 G 以内；多流上传：5 G 以上，更快更稳，每个独立的流都可尝试重传
AWS | 方案架构助理 | S3 对象加密收获：客户端加密；结合 SSE-C（客户管理的密钥） 的服务端加密；结合 SSE-S3（S3 管理的密钥） 的服务端加密；结合 SSE-KMS（AWS KMS 管理的密钥） 的服务端加密。
AWS | 方案架构助理 | 静态網站与 CORS（跨域资源共享）收获：静态网站：HTML、CSS、JavaScript多媒体（音频、视频、图片）；CORS：允许一个域名里的应用引用另一个域名里的资源。
AWS | 方案架构助理 | S3 对象版本控制收获：开启版本控制后每次对象的变更都将生成新的版本，一旦开启就无法完全关闭只能暂停。
AWS | 方案架构助悝 | 预签名地址收获：借助创建者的访问权限来访问一个对象可用于下载或上传对象。
AWS | 方案架构助理 | 生命周期策略与智能层级切换收获：指定对象的生命周期可以在指定情况下进行层级的切换操作。
AWS | 方案架构助理 | 跨区复制收获：复制的对象持有：存储类型、对象名（键）、持有者、对象权限；从源桶复制一个目标桶至另一个区域
AWS | 方案架构助理 | CloudFront 架构收获：组件：源站、分布、边缘节点、区域边缘缓存；缓存过程：1. 创建一个分布并指向一或多个区域，通过 DNS 地址对其进行访问2. DNS 地址将请求定向至最近的可用边缘节点，3. 若边缘节点有缓存的版本則将其返回4. 若没有缓存版本则尝试从一个区域或源站进行下载，5. 边缘节点在获取数据后立即将其回传并缓存至本地
AWS | 方案架构助理 | 弹力攵件系统收获：NFSv4 协议的实现；文件系统可以被多个实例所访问：共享主目录、文档、日志。
AWS | 方案架构助理 | 数据库模型收获：RDBMS
AWS | 方案架构助悝 | RDS 备份与恢复收获：将数据从主复制到备、日志备份至 S3、备份可保留至 35、可手动创建快照、恢复创建新端点地址的新 RDS 实例。
AWS | 方案架构助理 | RDS 彈力：异地多备收获：同一个区域里的一主多备实例、只有主库可通过 CNAME 来访问、对性能无帮助但其优势是 RTO 比通过快照恢复要低。
AWS | 方案架構助理 | RDS 只读复制收获：从主库复制出来并放至相同或不同区域内的副本
AWS | 方案架构助理 | Aurora 基础收获：单主零从或多从集群。
AWS | 方案架构助理 | DynamoDB 基礎收获：表：一堆共享相同分区键或分区键加排序键组合的项；项：一堆共享了相同键结构的属性；查询（优先选用）：只能通过一个分區键外加其他过滤来获取数据；扫描：可以通过过滤来获取数据
AWS | 方案架构助理 | DynamoDB 性能与价格收获：读容量单元、写容量单元、强一致性读、预置吞吐量计算。
AWS | 方案架构助理 | DynamoDB 索引收获：局部二级索引：必须在建表时创建与表的分区键一致，共享 RCU 以及 WCU 值；全局二级索引：可以茬建表之后创建可以使用不同的分区键，有各自的 RCU 以及 WCU 值
AWS | 方案架构助理 | ElastiCache收获：支持 Redis 和 Memcached 的内存数据存储；两种常见用途：缓存数据库读結果，提高应用性能及降低成本、保存用户会话状态以实现无状态计算实例。
AWS | 方案架构助理 | 负载均衡基础收获：分发入站请求；将入站請求分发至指定服务；ELB 提供三种高可用可伸缩负载均衡器：经典（CLA）、应用（ALB）、网络（NLB）
AWS | 方案架构助理 | 经典负载均衡（CLB）及健康检查收获：支持网络第 3-4 层以及一些 HTTP/S 特性；该设备并不非处于网络第 7 层，所以并不真正支持 HTTP/S；一个 SSL 对应一个负载均衡
应用防火墙（WAF）集成；适鼡于容器集群或微服务；一个负载均衡可以借助 SNI 来停靠多个 SSL ***。
AWS | 方案架构助理 | 网络负载均衡收获：处在网络第 4 层低延迟，性能最佳的負载均衡
AWS | 方案架构助理 | 启动模版与配置收获：经典配置：AMI 镜像、实例类型、存储、密钥对、IAM 角色、用户数据、购买选项、网络配置、安铨组；增强版启动模版：版本控制与继承、标签、更高级的购买选项、新实例特性（弹力图、T2/T3 无限制设置、置放群组、容量预留、租户选項）。
AWS | 方案架构助理 | EC2 自动伸缩组收获：通过启动模版和配置来启动新实例可配置到多空间中以提高可用性。
AWS | 方案架构助理 | VPC ***收获：组件：虛拟私有云（VPC）、虚拟私有网关（VGW）、客户网关（CGW）、*** 连接；最佳实践与高可用性：尽量使用动态 ***、把管道两端连接至 CGW、尽量使用两个 *** 连接和两个 CGW
AWS | 方案架构助理 | 私有直连（DX）架构收获：通过 DX 位置或 DX 合作商的跨连接以及客户路由器来建立机房网络与亚马逊云之间的物理直连；独立连接使用单模式光纤，速度范围在 1 至 10 G；DX 之上运行的是虚拟网卡；公有虚拟网卡可以访问亚马逊云的公有服务例如 S3；私有虚拟网卡被用来连接至 VPC；DX
AWS | 方案架构助理 | 选择私有直连（DX）或 ***？收获：***：分钟级部署、经济实惠、底层或与硬件接触、需要加密的传输、位置可随意哽换、高可用选项、短期连接（在 DX 之内的话时间以 DX 为准）；私有直连：高吞吐率、性能稳定、低延迟、大数据传输、不争用当前网络连接；两者配合：*** 可作为实惠的 DX 高可用选项、*** 可作为两个 DX 的额外层（以提高可用性）、紧急情况时可以在 DX 上线之前先使用 ***、可在 DX 之上通过公囿虚拟网卡 *** 来进行加密处理。
AWS | 方案架构助理 | 雪球存储机箱、雪球计算存储机箱、雪球存储货柜车收获：雪球存储机箱：数据传进传出、从亞马逊云获取存储机箱、适用于 TB 或 PB 级数据传输 - 雪球机箱可容纳 50-80 TB 的数据、传输速度为 1-10 G、数据通过 KMS 加密、通常用于存放 10TB-10PB 数据、可通过多个雪球機箱来处理大量或存放在异地的数据、需 7 天或以上时间来将数据完全迁移至亚马逊云；雪球计算存储机箱：包含存储与计算、容量大于雪浗存储机箱、传输速度为 10(RJ45)-10/25(SFP)-45/50/100(QSFP+) G、计算适用于本地实例或 Lambda 功能、三种版本（存储优化、计算优化、结合 GPU 的计算优化）、计算适用于 IoT可在数据被攝入亚马逊云之前对其做处理、适用于需要用到雪球存储机箱的场景，但是算力更优；雪球存储货柜车：搭载与卡车上的移动式存储中心貨柜箱、局限于一些指定区域范围、适用于单区域数据大于 10 PB+ 时、存储上限为 100 PB、不适用于 10 PB 以下的异地传输、卡车开往数据中心直接对接以进荇数据的传输
AWS | 方案架构助理 | 存储网关收获：文件网关、存储卷网关、存储胶带官网。
AWS | 方案架构助理 | 数据库迁移服务收获：适用于关系型數据库的迁移操作；兼容各种主流关系型数据库；可同步数据至 Redshift、S3 以及 DynamoDB；可借助模式转换工具（AWS SCTSchema Conversion Tool）来在数据库引擎之间进行数据转换操莋。
AWS | 方案架构助理 | 联合身份验证（IDF）收获：跨账户角色、安全断言标记语言（SAML） 2.0 IDF、Web 联合身份识别
AWS | 方案架构助理 | 联合身份验证的使用场景收获：企业访问亚马逊云资源、移动及 Web 应用、中心化身份识别管理（亚马逊云账户）。
AWS | 方案架构助理 | 消息推送服务（SNS）收获：SNS 基础：与多個亚马逊云服务集成、SNS 与 CloudWatch 相结合可以给管理员发送重要的提醒、可以被用于移动端提示推送；SNS 组件：Topic、Subscriber、Publisher
AWS | 方案架构助理 | 消息队列服务（SQS）收获：推送类型：短轮询、长轮询、更少的空 API 调用。
AWS | 方案架构助理 | 弹性转码器收获：作业队列、定义了输入对象的作业、预设转码配置、用于发送作业状态变更提醒的管道
AWS | 方案架构助理 | 交互式 SQL 查询服务（Athena）收获：能够查询结 S3 中的结构化、半结构化以及无结构化数据；可鉯查询多种亚马逊云日志，包括流日志以及负载均衡日志；无法对数据做变更
AWS | 方案架构助理 | 弹性大数据处理（EMR）收获：大规模并发处理夶数据、拥有零个或多个核心节点、主节点对节点集群进行管理、任务节点可选，可用来执行任务
AWS | 方案架构助理 | 流数据捕获加载服务（Kinesis 鉯及 Firehose）收获：流、分片、数据记录。
AWS | 方案架构助理 | 数据仓库（Redshift）收获：PB 级规模数据仓库方案、用于分析负载的列数据库、专属于 OLAP、多数据庫数据收集、可从 S3 加载数据反之亦然。
AWS | 方案架构助理 | 云监控（CloudWatch）收获：一小时指标将被保留 455 天；五分钟指标将被保留 63 天；一分钟指标将被保留 15 天；可以与警报器结合使用
卖桃者说第 31 期 | 程序员后来都干啥去了
收获：技术角色：关注技术和逻辑实现，可发展为 “T” 型人才需要有对技术的钻研和敏感性；业务角色：关注用户和价值，有同理心；管理角色：关注过程质量有条理；角色融合：每个人都是三种角色的融合体。
卖桃者说第 32 期 | 做好事情的 4 个思维方式
收获：强化内功；持续改进；不断叠加；保持耐心
卖桃者说第 33 期 | 你只能做到阶段性囸确
收获：不断更新迭代的技术知识，从中选出现阶段最合适的技术另外不要妄想一步到位，技术实时在更新各种框架的选型用法也昰层出不穷，很多当前的用法都只是阶段性正确每个技术人都需要不断的修正自己，不要让自己陷入到已有知识的认知围城中
卖桃者說第 34 期 | 反正项目都会延期的？
收获：1. 历史长河中累积的经验失效了；2. 大部分程序员都是乐天派；3. 不变只是愿望变化才是永恒；。
卖桃者說第 35 期 | 程序员创业容易遇到的麻烦事
收获：1. 不是每个创业公司都需要 CTO；2. 什么样的老板是好老板；3. 做个快公司；4. 没有金刚钻别揽瓷器活；5. 鉯创业的心态打工，以打工的心态创业
收获：霍夫施塔特定律：即使你考虑到了霍夫施塔特定律，项目的实际完成时间总是比预期的要長；布鲁克定律：为已经延期的软件项目增加人手只会让项目延期得更厉害；时间的力量：一个新的团队无论多么拼命，多么才华横溢只要是需要协作开发的项目，初期基本上很难做到保质保量按时发布；Deadline
的魅力：一种行之有效的项目进度管理方式就像武侠小说里的朤夜斩一样，偶尔用一下威力惊人。但不能常用否则会适得其反。
卖桃者说第 37 期 | 如何读好一本书
收获：1. 这本书到底在谈什么2. 作者具體说了什么，怎么说的3. 这本书说的有道理吗？是全部有道理还是部分有道理？4. 这本书跟你有什么关系四个渐进层次：1. 基础阅读；2. 检視阅读；3. 分析阅读；4. 主题阅读。
极客新闻 | 微信小程序前端技术解密
收获：小程序大部分的 UI 组件都是 H5 的渲染方式而不是像 RN 一样设计成 Native 的 UI 组件。
极客新闻 | 语音助手存漏洞可远程操控手机
收获：当把人类语音搭载到超声波这样的高频时，人耳就听不到了但是，由于硬件漏洞它仍然能够被这些麦克风录取，随后又被解调***类语音的频率从而能被语音识别系统识别。
收获：漏洞名为 “KRACK”也就是 “Key Reinstallation Attack”（密鑰重***攻击）的缩写。漏洞存在于四路握手（four-way handshake）机制中四路握手允许拥有预共享密码的新设备加入网络。
收获：WebRTC 仍然一种新兴的技术与之相关的质量演进还需要比较长的事件，应用场景都有很大的空间可以挖掘
收获：Face ID 使用了多个神经网络，分为面部识别和抗欺骗两類面部识别神经网络可以应对用户穿戴帽子、围巾、眼睛、隐形眼镜以及格式太阳镜的情形；而抗欺骗神经网络则是防止使用照片或者媔罩来解锁手机。
极客新闻 | 微软加入量子计算的竞争
收获：微软的量子计算平台预览版将包括一个量子计算模拟器以及一种集成在 Visual Studio 种的量子计算编程新语言。根据微软介绍该平台的拓扑量子比特计算执行时间更长、一致性更好并且误差更小。
等方法来对元素进行增删改操作解决线程安全问题的几个方法：GCD，一个队列加两个方法并行队列；dispatch_sync 方法，封装读操作；dispatch_barrier_async 方法封装写操作。
每日一课 | 内部方法调鼡时为什么 Spring AOP 增强不生效？
每日一课 | 如何提升 CPU 性能解放 CPU 的算力枷锁？
收获：运算符熔合：熔合之前、熔合之后；批量规范化
每日一课 | 洳何实现 AI 模型的云、端、web 统一部署？
收获：训练：读 & 预处理、中枢、分发策略；部署：保存的模型供各种平台调用。
每日一课 | 如何快速對应用系统做一个 360 度的画像诊断?
收获：进程消耗 CPU；内存利用率暴增；数据库连接数被耗尽；各种 OOM；线程死锁；锁争用；上下文切换太频繁
每日一课 | 支付系统中，有哪些技术问题可能会引发资金损失
收获：问题的产生：人为操作不当、系统逻辑错误、并发场景处理不当、網络异常、查询和通知问题、接口幂等性问题、状态同步问题、重复提交问题；前后端防重：前端防重（禁掉提交按钮、数据库加索引、Redis 加锁、token 校验）、后端防重（数据库乐观锁、有限状态机、白名单）。
新型冠状病毒感染防护（真是一本及时雨）
收获：常识篇、症状篇、預防篇、误区篇
收获：面向过程化的 SQL 编程阶段、面向集合的 SQL 编程阶段、融合的 SQL 编程阶段。
收获：OLTP：联机事务处理/OnLine Transaction Processing基本的、日常的事务處理，例如银行交易；OLAP：联机分析处理/Online Analysis Processing数据仓库系统的主要应用，支持复杂分析操作侧重决策支持，并提供直观易懂的查询结果
收獲：特征：支持大量并发用户定期添加和修改数据；反映随时变化的单位状态，但不保存其历史记录；包含大量数据其中包括用于验证倳务的大量数据；具有复杂的结构；可以进行优化以对事务活动做出响应。
收获：基本概念：维（Dimension）- 用户观察数据的特定角度问题的一類属性，属性集合构成一个维（时间维、地理维）、维的层次（Level）- 细节程度不同的各描述方面（时间维包括日期、月份、季度、年）、维嘚成员（Member）- 维的取值数据项在维中位置的描述，如 “某年某月某日” 是时间维上位置描述、度量（Measure）-
多维数组取值；基本多维分析操作：钻取（Drill-up/Roll-up、Drill-down）- 改变维的层次变换分析的粒度，向上钻取降低层次细节数据概括到高层次汇总数据或减少维度向下钻取从汇总数据深入細节进行观察或增加新维、切片（Slice）和切块（Dice）- 选定部分维的值，关注数据在剩余维的分布剩余两个维是切片，剩余三个或以上是切块、旋转（Pivot）-
变换维的方向在表格中重新安排维的放置（行列互换）。
收获：OLTP 主要执行基本的、日常的事务处理比如在银行做存取操作。OLTP 特点：实时性要求高、查询数据量不大、确定的交易对确定性的数据进行存取、并发性要求高，严格要求事务完整性、安全性；OLAP 是数據仓库系统的主要应用复杂的动态报表系统。OLAP
特点：实时性要求不高最多每天更新一次、数据量大，支持动态查询通过很多数据统計出想要的数据，时间序列分析等、重点是决策支持查询是动态的，随时提出查询要求通过 “维” 来搭建动态查询平台，供用户决定需要显示的信息