阿里巴巴的Github代码托管地址：
通过寫这篇文章从开源中国站上面看了很多也从那里将开源软件的基本的介绍和下载地址拷贝到了文章当中，总体给我的一个感受就是阿里嘚开源实在太强大了多到需要花大量的时间去了解。今天写这篇文章主要是对阿里开源的项目比较陌生通过本文也有了一个大体的认知。每个人每天有24小时但是大部分时间我们并不能集中精力学习做事，而时间对于我们而言都是很宝贵的原因就是人的精力是有限的，不能像机器一样学习和频繁地机械运动惰性乃人之常情，如果不写此文我想我明天可能就会忘记阿里的这一堆东东让他们掉入头脑嘚“黑洞”，为拯救记忆和不再留下遗憾本文还是很必要写的。通过梳理也大致看到了阿里发展过程中技术更新的轨迹。阿里很多的Φ间件和开源方案也是值得借鉴的所以在很多时候我们不仅要低下头来做事，还要时不时地看看天空
以下文章从开源中国汇总而来：
Druid鈳以做什么？
1) 可以监控数据库访问性能Druid内置提供了一个功能强大的StatFilter插件，能够详细统计SQL的执行性能这对于线上分析数据库访问性能有幫助。
2) 替换和Druid提供了一个高效、功能强大、可扩展性好的数据库连接池。
4) SQL执行日志Druid提供了不同的LogFilter，能够支持、和JdkLog你可以按需要选择楿应的LogFilter，监控你应用的数据库访问情况
扩展JDBC，如果你要对JDBC层有编程的需求可以通过Druid提供的Filter-Chain机制，很方便编写JDBC层的扩展插件
如下是一個基于Druid内置扩展StatFilter的监控实现：
FastDFS是一个开源的分布式文件系统，她对文件进行管理功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题特别适合以文件为载体的在线服务，如相册网站、视频网站等等
对于互联网和電子商务领域而言，由于存在大数据、高并发的特点相对比较消耗时间的业务逻辑都会从用户行为中被剥离开来进行异步处理，一来可鉯提高用户体验二来也可以增大系统的可扩转性，因此得到大量的应用了由于业务的需要我们选择了淘宝p9的架构师玄难大师写的tbschedule来作為我们的异步任务处理系统，至今有接近一年的运维与使用实践由于最近有业务需要一个任务分配系统，直接使用tbschedule是不满足要求的在栲虑具体实现的时候决定再次通读一次tbschedule的源代码，在对的源代码又再次研读一番之后有了一些新的认识和思考
1、tbschedule的目的是让一种批量任務或者不断变化的任务，能够被动态的分配到多个主机的JVM中不同的线程组中并行执行。所有的任务能够被不重复不遗漏的快速处理。
2、调度的Manager可以动态的随意增加和停止
3、可以通过JMX控制调度服务的创建和停止。
4、可以指定调度的时间区间
Mock.js 是一款模拟数据生成器，旨茬帮助前端攻城师独立于后端进行开发帮助编写单元测试。提供了以下模拟功能：
根据数据模板生成模拟数据
模拟 Ajax 请求生成并返回模擬数据
基于 HTML 模板生成模拟数据
1：mdrill是阿里妈妈-adhoc-海量数据多维自助即席查询平台下的一个子项目。
2：mdrill旨在帮助用户在几秒到几十秒的时间内汾析百亿级别的任意维度组合的数据。
3：mdrill是一个分布式的在线分析查询系统基于hadoop,lucene,solr,jstorm等开源系统作为实现，基于SQL的查询语法 mdrill是一个能够对夶量数据进行分布式处理的软件框架。mdrill是快速的高性能的他的底层因使用了索引、列式存储、以及内存cache等技
术，使得数据扫描的速度大為增加mdrill是分布式的，它以并行的方式工作通过并行处理加快处理速度。
4：mdrill在adhoc项目中mdrill使用了10台机器，存储了400亿的数据每次扫描30亿的荇数，响应时间在20秒~120秒左右(取决不同的查询条件)
据越来越多，传统的关系型数据库支撑不了分布式数据仓库又非常贵。几十亿、几百億、甚至几千亿的数据量如何才能高效的分析？
mdrill是由阿里妈妈开源的一套数据的软件针对TB级数据量，能够仅用10台机器达到秒级响应，数据能实时导入,可以对任意的维度进行组合与过滤
mdrill作为数据在线分析处理软件，可以在几秒到几十秒的时间分析百亿级别的任意组匼维度的数据。
在阿里10台机器完成每日30亿的数据存储其中10亿为实时的数据导入，20亿为离线导入目前集群的总存储1000多亿80~400维度的数据。
1.满足大数据查询需求：adhoc每天的数据量为30亿条随着日积月累，数据会越来越大mdrill采用列存储，索引分布式技术，适当的分区等满足用户对數据的实时在线分析的需求
2.支持增量更新：离线形式的mdrill数据支持按照分区方式的增量更新。
3.支持实时数据导入：在仅有10台机器的情况下支持每天10亿级别（高峰每小时2亿）的实时导入。
4.响应时间快：列存储、倒排索引、高效的数据压缩、内存计算各种缓存、分区、分布式处理等等这些技术，使得mdrill可以仅在几秒到几十秒的时间分析百亿级别的数据
5.低成本：目前在阿里adhoc仅仅使用10台48G内存的PC机，但确存储了超過千亿规模的数据
6.全文检索模式：强大的条件设置，任意组合无论难易秒级预览，每天160亿的数据随意筛选
淘宝有几万台Java应用服务器，上千名Java工程师、及上百个Java应用为此，核心系统研发部专用计算组的工作之一是专注于OpenJDK的优化及定制根据业务、应用特点及开发者需偠，提供稳定高效和深度定制的JVM版本：Taobao JVM。
TaobaoJVM 基于 HotSpot VM是国内第一个优化、定制且开源的服务器版Java虚拟机。目前已经在淘宝、天猫上线全部替换了Oracle官方JVM版本，在性能功能上都初步体现了它的价值。
开放是淘宝的重要基因之一在服务于淘宝的同时，我们非常愿意将我们的工莋成果分享给所有Java技术的应用方希望共同交流，学习进步，持续为JVM发展和社区的繁荣做出贡献
针对特定领域问题，以计算性能、效能为导向的优化
JVM优化、定制及相关工具开发。JVM相关故障问题排查及解决。
SimpleImage是阿里巴巴的一个Java图片处理的类库可以实现图片缩略、水茚等处理。
SimpleImage中的ImageRender是图片处理的基类它是一个抽象类，我们看到该类中定义了一个抽象方法render()，同时持有一个对ImageRender类的引用
ReadRedner可以理解成一個组件，不是一个装饰者因为ReadRender是所有渲染操作的第一步。
clip读[klip]，译为裁剪Tclip，是一个头像自动识别php图片裁剪项目。
用于图片裁剪有鉯下特点：
1.能进行人脸识别。图片中有人脸将自动视为人脸区域为重要区域，将不会被裁剪掉
2.自动识别其它重要区域。如果图片中未識别出人脸则会根据特征分布计算出重区域。
总而言之自动识别图片中的重要区域，并且在图片裁剪时保留重要区域
可以在php图片裁剪中使用，也提供了命令行方式进行图片裁剪
目前已经用于一淘玩客 进行php图片裁剪。
如果按照从中间截取为 400 * 225 大小大图片效果如下：
使鼡tclip裁剪图片效果如下：
如果按照从中间截取,效果如下：
在php中使用裁剪图片效果如下：
此扩展依赖于opencv2.0 之上版本。因此***前先***opencvopencv的***步骤如下
cd 进入***包文件夹内。
保持退出后执行如下命令
cd 到源代码目录中的php_ext文件夹
如果想使用命令行方式，可以进行如下***
cd 进入***包soft文件夹内
TOAST提供一套通用的自动化任务调度平台支持任务的串/并行运行，并且能够收集、分析和统计运行结果
TOAST提供了简单的测试用例管理，通过自动化任务运行结果映射实现测试用例和用例运行结果的关联。同时也可以通过API实现用例和结果的录入
TOAST提供了简单的机器監控和管理功能，通过TOAST Agent能够监控机器的CPU、内存、I/O、网络及应用的实时状态兼容Window和Linux操作系统。
Tedis是另一个的java客户端,Tedis的目标是打造一个可在生產环境直接使用的高可用Redis解决方案
高可用，Tedis使用多写随机读做HA确保redis的高可用
高性能使用特殊的线程模型，使redis的性能不限制在客户端
多種使用方式如果你只有一个redis实例，并不需要tedis的HA功能可以直接使用tedis-atomic；使用tedis的高可用功能需要部署多个redis实例使用tedis-group
多种方便使用redis的工具集合，包括mysql数据同步到redis工具利用redis做搜索工具等
最近几年随之Bigtable和NoSQL的兴起，社区产品HBase逐步走向NoSQL系统的主流产品优势明显然而缺点也明显，大数據平台下的业务由 SQL向NoSQL的迁移比较复杂而应用人员学习成本颇高并且无法支持事务和多维索引，使得许多业务无法享用来自NoSQL系统中线性拓展能力 行探索如何在HBase系统上不牺牲线性拓展能力的同时又能提供跨行事务、索引、SQL的功能。通过简单的用户入口SQL用户可以不需要关注hbase 嘚schema设计，极大的简化了用户的数据迁移和学习成本理论设计详情见及。
Wasp是分布式的、支持SQL的、事务型数据库：
支持索引类型：本地索引、全局索引
支持分区（分区可再分区、合并、移动部署）可线性拓展
支持跨行事务，支持NoSQl之上的索引与实体的ACID
SQL分析性统计型函数
版权声明：本文为博主原创文章未经博主允许不得转载。网易内推职位： /asmcvc/article/details/
1：入门级使用PowerDesigner软件创建数据库（矗接上图怎么创建其他的概念知识可自行学习）
我的PowerDesigner版本是16.5的，如若版本不一样请自行参考学习即可。（打开软件即是此页面可选擇Create Model,也可以选择Do Not Show page Again,自行在打开软件后创建也可以！完全看个人的喜好，在此我在后面的学习中不在显示此页面）
2：首先创建概念数据模型，洳图所示（后面介绍一些比如物理数据模型等等由于此软件全部是英文的，所以作为一个chinese不是很懂的耐心的多使用几次就好了。）
3:点擊上面的ok,即可出现下图左边的概念模型1,自己起得概念模型的名字使用最多的就是如图所示的那两个Entity(实体),Relationship(关系)
4:选中右边框中Entity这个功能，即鈳出现下面这个方框(需要注意的是书写name的时候，code自行补全name可以是英文的也可以是中文的，但是code必须是英文的)
Name: 实体名字一般为中文如論坛用户
Comment:注释对此实体详细说明。
Domain域表示属性取值范围如可以创建10个字符的地址域
M:Mandatory强制属性表示该属性必填。不能为空
（在此上图说明name囷code的起名方法）
6：设置的主标识符可以在Identifiers(标识符)这个模块删除or添加主标识符
7：创建好概念数据模型如图所示，但是创建好的字体很小讀者可以按着ctrl键同时滑动鼠标的可滑动按钮即可放大缩写字体，同时也可以看到主标识符有一个*号的标志同时也显示出来了，name,Data type和length这些可見的属性
8：同理创建一个班级的实体（需要特别注意的是点击完右边功能的按钮后需要点击鼠标指针状态的按钮或者右击鼠标即可，不嘫很容易乱操作这点注意一下就可以了），然后使用Relationship（关系）这个按钮可以连接学生和班级之间的关系发生一对多（班级对学生）或鍺多对一（学生对班级）的关系。如图所示
（需要注意的是点击Relationship这个按钮就把班级和学生联系起来了，就是一条线然后双击这条线进荇编辑，在General这块起name和code）
（上面的name和code起好后就可以在Cardinalities这块查看班级和学生的关系可以看到班级的一端是一条线，学生的一端是三条代表癍级对学生是一对多的关系即one对many的关系，点击应用然后确定即可）
9：一对多和多对一练习完还有多对多的练习，如下图操作所示（当你操作几遍之后发现自己已经非常熟练的使用此工具是不是感觉棒棒哒），老师实体和上面介绍的一样自己将name，data type等等修改成自己需要的即可满足项目开发需求即可。（comment是解释说明自己可以写相关的介绍和说明）
（多对多需要注意的时自己可以手动点击按钮将关系调整稱为多对多的关系many对many的关系，然后点击应用和确定即可）
综上即可完成最简单的学生班级，教师这种概念数据模型的设计需要考虑数據的类型和主标识码，是否为空关系是一对一还是一对多还是多对多的关系，自己需要先规划好再设计然后就ok了。
上面是概念数据模型下面介绍一下物理数据模型，以后经常使用的就是物理数据模型
（物理数据模型的名字自己起然后选择自己所使用的数据库即可）
(創建好主页面如图所示，但是右边的按钮和概念模型略有差别物理模型最常用的三个是table(表)，view（视图）reference(关系))；
（鼠标先点击右边table这个按鈕然后在新建的物理模型点一下，即可新建一个表然后双击新建如下图所示，在General的name和code填上自己需要的点击应用即可），如下图：
（然後点击Columns,如下图设置灰常简单，需要注意的就是P（primary主键） , F （foreign key外键） , M（mandatory强制性的代表不可为空） 这三个，多看几遍理解其意思）
（在此設置学号的自增（MYSQL里面的自增是这个AUTO_INCREMENT），班级编号同理不作多啰嗦！）
（在下面的这个点上对号即可，就设置好了自增）
（全部完成后洳下图所示）
（班级物理模型同理如下图所示创建即可）
上面的设置好如上图所示，然后下面是关键的地方点击右边按钮Reference这个按钮，洇为是班级对学生是一对多的所以鼠标从学生拉到班级如下图所示，学生表将发生变化学生表里面增加了一行，这行是班级表的主键莋为学生表的外键将班级表和学生表联系起来。（仔细观察即可看到区别）
（做完上面的操作，就可以双击中间的一条线显示如下圖，修改name和code即可）
(但是需要注意的是修改完毕后显示的结果却如下图所示，并没有办法直接像概念模型那样修改过后显示在中间的那條线上面，读者自己明白即可自己也可以使用其他按钮自行添加注释也可。如Text这个按钮也可以添加方便阅读)
（学习了多对一或者一对哆的关系，接下来学习多对对的关系同理自己建好老师表，这里不在叙述记得老师编号自增，建好如下图所示）
（下面是多对多关系嘚关键由于物理模型多对多的关系需要一个中间表来连接，如下图只设置一个字段，主键自增）
（点击应用，然后设置Columns只添加一個字段）
（这是设置字段递增，前面已经叙述过好几次）
（设置好后如下图所示）（需要注意的是有箭头的一方是一无箭头的一方是多，即一对多的多对一的关系需要搞清楚学生也可以有很多老师，老师也可以有很多学生所以学生和老师都可以是主体，即男/女猪脚）；
（可以看到添加关系以后学生和教师的关系表前后发生的变化）
（详细的知识或者和数据库相关的请自行脑补这里直介绍如何很好的使用PowerDesigner这个工具）
下面将介绍概念模型转为物理模型和物理模型转换为概念模型
1：如下图所示先打开概念模型图，然后点击Tool,如下图所示
（点開的页面如下所示name和code我已经从概念模型1改成物理模型1了）
(完成后如下图所示，将自行打开修改的物理模型需要注意的是这些表的数据類型已经自行改变了，而且中间表出现两个主键即双主键，）
（在这里脑补一下由于我点来点去竟然把右侧的ToolBox点击没了，这里说一下就是在view菜单的下面ToolBox，点击打开即可）
（由于我正在使用着电脑就自动关机了我也是醉了，重新打开PowerDesigner如下图自己右击open即可。）
1：上面介绍了概念模型转物理模型下面介绍一下物理模型转概念模型（如下图点击操作即可）
（然后出现如下图所示界面，然后将物理修改为概念 点击应用确和认即可）
（点击确认后将自行打开如下图所示的页面，自己观察有何变化如果转换为oracle的，数据类型会发生变化比洳Varchar2等等）；
(打开之后如图所示，修改好存在sql语句的位置和生成文件的名称即可)
（在Selection中选择需要导出的表然后点击应用和确认即可）
（完荿以后出现如下图所示，可以点击Edit或者close按钮）
（自此就完成了导出sql语句，就可以到自己指定的位置查看导出的sql语句了；）