涅槃之道

因为最近知道经典的《深度学习》中文版译本就要出版了，未来两三个月的计划是重新阅读一遍《深度学习》，中文版的！所以这个月就又把这本《机器学习》的书翻出来重新阅读了。
这本书大概一年之前读过一边，算是目前看到过的，最好的“中文”机器学习“教科书”了。再次阅读，受益良多。
全书结构大致如下：
【1~3章】介绍机器学习基本知识（绪论、模型评估与选择、线性模型）
【4~10章】介绍一些经典而常用的机器学习方法（决策树、神经网络、支持向量机、贝叶斯分类器、集成学习、聚类、降维与度量学习）
【11~16章】介绍一些进阶知识（特征选择与稀疏学习、计算学习理论、半监督学习、概率图模型、规则学习、强化学习）
书在内容上比较全面的介绍机器学习的各个分支，以及重要而常用的方法，它非常合适没有任何背景的初学者看。作者思路清晰，讲得非常清楚，读起来不累。很多内容把来龙去脉讲得很清楚，比只讲做法不讲原因的书强太多。当时看过各种机器学习相关的书籍和文章，总感觉公式太多，晕头转向，直到看过了这本《机器学习（西瓜书）》，才对机器学习有了一次系统性的了解。
作者周志华，是我见识过的第一个把复杂的问题讲得浅显易懂的老师，这本书也算是呕心沥血的作品，诚意满满。个人感觉算是一本适合程序员深入了解机器学习的入门书籍。

最近在学习Julia，啃文档 Julia Documentation
Julia 是一个面向科学计算的高性能动态高级程序设计语言。其语法与其他科学计算语言相似。在许多情况下拥有能与编译型语言相媲美的性能。
JUlia 主要用于数值计算，有以下特点：

• 核心语言非常小。标准库用的是Julia语言本身写的
• 调用许多其它成熟的高性能基础代码。如线性代数、随机数生成、快速傅里叶变换、字符串处理。
• 丰富的用于创建或描述对象的类型语法
• 高性能，接近于静态编译型语言。包括用户自定义类型等
• 为并行计算和分布式计算而设计
• 轻量级协程
• 优雅的可扩展的类型转换/提升
• 支持Unicode，包括但不限于UTF-8
• 可直接调用C函数（不需要包装或是借助特殊的API）
• 有类似shell的进程管理能力
• 有类似Lisp的宏以及其它元编程工具

目前数据挖掘、机器学习主流的无疑是Python和R。Python生态圈完整，三方的库很齐全，要完成什么功能都已经有很多的实现，直接调用就可以了;R更偏金融邻域，上手快，集成很多数据集。在工作中使用这两种语言进行数据挖掘、机器学习和量化计算肯定是绰绰有余的了。
但正是由于生态发展得太完善了，三方的实现太好了，自己又没有重复造轮子的动力和信心，想了解底层实现的时候，要么是因为代码历史太久远而且结构复杂不容易看懂，要么看着看着就会觉得没有目标而索然无味。这样只会使自己浮于了解API调用的表面，没法深入了解每一个数据挖掘、机器学习和量化计算算法实现背后的原理和思想。
Julia作为一门较新的语言，基础设计的很不错，性能好，速度快，支持分布式和并行计算，还支持元编程，可以说有着成为一门优秀语言的潜质，只是语言年轻，三方实现少才没有很流行。但这正是一个契机，期望能在熟悉Julia语言之后能自己动手实现一些三方库，即避免了重复造轮子，有可以在实践中增强学习。在这个新语言的领域做一个排头兵，作一个探索者会有意思的多。去学习这门语言的时候，查不到更多的资料，只能通过文档和源码来仔细分析，这才是学习程序的真正乐趣，而不是调用一大堆第三方库，却没有一个是自己一行行调试过的。

大学时代，感觉线性代数是一门比概率统计更没有用的数学课，直到最近逐渐接触图形编程或机器学习等领域才发现线性代数的应用无处不在，特别是在图形领域，全部是线性代数的运算。
这本书主要还是大学《线性代数》的复习，内容包括向量、矩阵、行列式、秩、逆矩阵、线性方程、LU分解、特征值、对角化、Jordan标准型、特征值算法等。回忆一下早已遗忘的内容，当然也会有重新的理解。这些知识点类的书，看完之后依然是没有什么特别的总结，但是阅读过程中发现的一篇文章《程序观点下的线性代数》非常不错，以程序员的角度对线性代数有一个全新的思考，其中“从应用的角度看，线性代数是一种人为设计的领域特定语言(DSL)，它建立了一套模型并通过符号系统完成语法和语义的映射”的观点，非常认同的。特别是近期频繁接触numpy，API的风格和线性代数的操作很接近。关于线性代数的思考，这篇文章介绍得很有特点，短期自己的理解有限，受到这篇文章的影响会比较大，也就不重复这些观点了。
但是可以介绍一下这段时间对线性代数基本库使用上的一些总结。计算机发明的出发点是用来计算的（算不算废话？），而线性代数是早就被广泛的应用到科学计算中的，因此线性代数的程序库很早就有了：
BLAS（Basic Linear Algebra Subprograms，基础线性代数程序集）是一个应用程序接口（API）标准，用以规范发布基础线性代数操作的数值库。该程序集最初发布于1979年，在高性能计算领域，BLAS被广泛使用。这玩意儿虽然只是一个标准，但是最早是由Netlib BLAS官方参考实现，用的程序语言为Fortran 77，在那个遥远的年代，所有的计算程序都是由Fortran写的。
CBLAS，时代在进步，慢慢的Fortran做为计算语言，使用的场景越来越少，C语言慢慢占据了统治地位，写C语言的也需要线性代数计算，但是C的语法、环境和Fortran都不一样，好在Fortran和C都算是底层语言，都是编译成机器语言执行的，应此只用将Fortran的BLAS所有API重新用C封装一次就行了，这就是CBLAS，这是针对C语言的接口。
LAPACK：（Linear Algebra PACKage），是以Fortran编程语言写的，用于数值计算的函式集。 BLAS只提供了线性代数的基本运算，最多也就到矩阵乘积，使用上还是不是特别方便，因此需要高层API的封装。LAPACK提供了丰富的工具函式，可用于诸如解多元线性方程式、线性系统方程组的最小平方解、计算特征向量、用于计算矩阵QR分解的Householder转换、以及奇异值分解等问题。
LAPACKE：LAPACKE之于LAPACK，就像CBLAS之于BLAS，提供了C语言的接口
Atlas，OpenBLAS，MKL、ACML、NVBLAS这些都是BLAS的封装，也就是说它们提供了CBLAS（BLAS的C语言接口），但是底层的实现并不是Fortran了，比如MKL可以有针对Intel CPU的汇编级的优化
因为一般LAPACKE底层都是调用BLAS或者CBLAS的，所以LAPACKE就没有太多的重新实现，直接用Netlib的LAPACKE底层调用BLAS的优化实现就可以了。
clBLAS、cuBLAS：这些也是线性代数计算的，但是和BLAS、CBLAS并不兼容，所有的计算都在GPU里面完成
BLIS、eigen：这些都是最近兴起的线性代数算法库，完全放弃了对老的BLAS的兼容，采用全新的自定义的接口