[mcj]迄今为止最全的深度学习框架介绍

深度学习框架：

Tensorflow – 最受欢迎的深度学习库之一，tensorflow，由Google Brain团队开发，于2015年开源。作为第二代机器学习系统，tensorflow是一个基于Python的库，能够运行多个CPU和GPU。它适用于所有平台，桌面和移动设备。它还支持其他语言，如C ++和R，可以直接用于创建深度学习模型，或者在其上使用包装库。

Keras – 虽然TensorFlow是一个非常好的深度学习库，但仅使用tensorflow创建模型可能是一个挑战，因为它是一个非常低级的库，并且对于初学者来说可能非常复杂。为了应对这一挑战，Keras被构建为一个简化的界面，可以在几行代码中构建高效的神经网络，并且可以配置为在TensorFlow之上工作。keras是用python编写的，非常轻巧，易于使用，而且非常简单易学。由于这些原因，tensorflow已将eras作为其核心API的一部分。

Caffe – 考虑到表达，速度和模块性，caffe是最早由 Berkeley Vision and Learning Center（BVLC）开发的深度学习库之一。它是一个C ++库，它也有一个python接口，并在卷积神经网络建模中找到它的主要应用。使用该库的一个主要好处是可以直接从Caffe Model Zoo获得许多预先训练好的网络，可立即使用。该库可有效地建模CNN或解决图像处理问题。继Caffe的脚步之后，Facebook最近开源了 Caffe2，这是一种新的轻量级模块化深度学习框架，为构建高性能深度学习模型提供了更大的灵活性。

Torch–是一个基于Lua的深度学习框架，已经被Facebook，Twitter和Google等大公司使用和开发。它利用 C / C ++库以及CUDA进行GPU处理。Torch的建造旨在实现最大的灵活性，并使建模模型的过程非常简单。最近，名为PyTorch的Torch的python实现已经普及并且正在迅速普及。

PyTorch – 是一个用于构建深度神经网络和执行复杂张量计算的Python包。虽然Torch使用Lua，但PyTorch利用了Python的日益普及，允许任何拥有一些基本Python编程语言的人开始深入学习。PyTorch改进了 Torch的架构风格，并且没有任何对容器的支持 – 这使整个深度建模过程更容易和透明。

Deeplearning4j – DL4j是一个流行的深度学习框架，用Java开发，并支持其他JVM语言。它非常灵活，并且被广泛用作商业的，以行业为中心的分布式深度学习平台。使用DL4j的优势在于，可以将整个Java生态系统的强大功能集中在一起，以执行高效的深度学习，因为它可以在流行的大数据工具（如Apache Hadoop和Apache Spark）之上实现。

MXNet – 是支持语言最多的深度学习框架之一，支持R，Python，C ++和Julia等语言。这是有帮助的，因为如果一个人不知道这些语言中的任何一种，他就不需要走出他的舒适区，去训练他的深度学习模型。它的后端用C ++和cuda编写，能够像Theano一样管理自己的内存。MXNet也很受欢迎，因为它可以很好地扩展，并且可以与多个GPU和计算机一起使用，这使它对企业非常有用。这也是亚马逊将MXNet作为深度学习参考库的原因之一。11月，AWS宣布推出 ONNX-MXNet，这是一个开源Python包，用于将ONNX（开放式神经网络交换）深度学习模型导入Apache MXNet。

CNTK – 是一个用于训练深度学习模型的开源深度学习工具包。它经过高度优化，并支持Python和C ++等语言。以其有效的资源利用而闻名，人们可以使用认知工具包轻松实现有效的强化学习模型或生成对抗网络（GAN）。它旨在实现高可扩展性和性能，并且与其他工具包（如Theano和Tensorflow）在多台计算机上运行时相比，可以提供高性能提升。

Deeplearn.js – 使用deeplearn.js，现在可以在浏览器中训练神经网络模型！deeplearn.js最初由Google Brain团队开发，是一个基于JavaScript的开源深度学习库，可在WebGL 1.0和WebGL 2.0上运行。

BigDL – 是Apache Spark的深度学习库，可以很好地扩展。在BigDL的帮助下，可以通过将它们编写为Spark程序，直接在Spark或Hadoop集群上运行深度学习应用程序。它具有丰富的深度学习支持，并使用英特尔的数学核心库（MKL）来确保高性能。使用BigDL，还可以将预先训练好的Torch或Caffe模型加载到Spark中。如果想要将深度学习功能添加到存储在群集上的大量数据集中，这是一个非常好的库。

分段模型：

SegNet – 是一种深度编码器 – 解码器架构，用于由英国剑桥大学计算机视觉和机器人小组的成员研发的多级像素分割。

ICNet – 它找到了许多实际应用，但是基本上难以减少像素标签推断的大部分计算。基于压缩PSPNet的图像级联网络（ICNet）在适当的标签指导下结合了多分辨率分支，以应对这一挑战。该系统在单个GPU卡上产生实时推断，在具有挑战性的Cityscapes数据集上评估具有良好质量结果。

RCNN – 这种方法结合了两个关键的见解：（1）可以将大容量卷积神经网络（CNN）应用于自下而上的区域提议，以便对象进行定位和分割;（2）当标记的训练数据稀缺时，监督辅助任务的预训练，然后进行特定领域的微调，可以显着提高性能。由于我们将区域提案与CNN结合起来，我们将方法称为R-CNN：具有CNN功能的区域。我们还将R-CNN与最近提出的基于类似CNN架构的滑动窗口检测器OverFeat进行了比较。我们发现R-CNN在200级ILSVRC2013检测数据集上大大优于OverFeat。

全分辨率残留网络（FRRN） – 用于语义分段，类似ResNet的架构，具有强大的本地化和识别性能。它们通过在网络中使用两个处理流将多尺度上下文与像素级精度相结合：一个流以全图像分辨率传输信息，从而实现对段边界的精确遵守。另一个流经历一系列池化操作以获得用于识别的稳健特征。使用残差以全图像分辨率耦合两个流。如果没有额外的处理步骤且没有预先培训，我们的方法会表现得更好。

金字塔场景解析网络 – 通过我们的金字塔池模块与建议的金字塔场景解析网络（PSPNet）通过基于不同区域的上下文聚合的全局上下文信息的能力。我们的全局先验表示有效地在场景解析任务中产生高质量的结果，而PSPNet为像素级预测任务提供了优越的框架。所提出的方法在各种数据集上实现了最先进的性能。它首先出现在ImageNet场景解析挑战2016，PASCAL VOC 2012基准测试和Cityscapes基准测试中。单个PSPNet在PASCAL VOC 2012上产生新的mIoU准确度85.4％，在Cityscapes上获得80.2％的准确率。