2024年1月1日；2022年1月1日；2020年1月1日；2019年1月1日；2018年1月1日；2017年1月1日；2016年3月21日；2014年8月26日；2013；1950

libev 是一个全功能和高性能的事件循环库，libev 参考并模仿了 libevent 和 perl 模块 Event^[2]。它用于GNU虚拟专用以太网^[3]、rxvt-unicode^[4]、auditd^[5]、Deliantra MORPG^[6]服务器和客户端以及许多其他程序。

libev 由 Marc Lehmann 和 Emanuele Giaquinta 创建，以GPLv2协议发布^[8]。

与 libevent 的区别

在设计理念上，创建 libev 是为了改进 libevent 中的一些架构决策^[9]。例如，

全局变量的使用使得在多线程环境中很难安全地使用libevent。
观察器结构很大，因为它们将输入/输出、时间和信号处理程序合二为一。
额外的组件(如http和dns服务器)的实现质量参差不齐。
计时器不精确，不能很好地处理时间跳跃。

Libev 的解决方案是

不使用全局变量，而是每个函数都有一个循环上下文。
对每种事件类型使用小的观察器(一个I/O观察器在 x86_64 机器上使用 56 字节，而用 libevent 的话使用136字节)。
没有 http 库等组件。libev 的功能非常少。
允许更多事件类型，例如基于Wall Clock或者单调时间的计时器、线程间中断等等。

更简单地说，libev 的设计遵循UNIX工具箱的哲学，尽可能好地只做一件事。

参考资料

CNN

libev
原作者	Marc Lehmann, Emanuele Giaquinta.
当前版本	4.31（2019年12月21日，4年前）
编程语言	C语言
类型	网络函式库
许可协议	GPLv2

libev
原作者	Marc Lehmann, Emanuele Giaquinta.
当前版本	4.31（2019年12月21日，4年前）
编程语言	C语言
类型	网络函式库
许可协议	GPLv2

Ventoy
	Ventoy 1.0.54
开发者	www.ventoy.net
当前版本	1.0.60（）
源代码库	github.com/ventoy/Ventoy
操作系统	Windows、Linux
许可协议	GPLv3+
网站	www.ventoy.net

卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，^[11]对于大型图像处理有出色表现。

卷积神经网络由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网络，卷积神经网络需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构^[12]。

定义

“卷积神经网络”表示在网络采用称为卷积的数学运算。卷积是一种特殊的线性操作。卷积网络是一种特殊的神经网络，它们在至少一个层中使用卷积代替一般矩阵乘法

概览

发展

结构

卷积神经网络结构由一个输出层，一个输出层以及多个隐藏层组成。CNN的隐藏层一般包含多个卷积层。激活函数一般是一个 ReLU 层。后面跟的是附加的层，例如卷积层，完全连接层和

卷积层

卷积层是由一系列参数滤波器，卷积层是一组平行的特征图（feature map），它通过在输入图像上滑动不同的卷积核并执行一定的运算而组成。此外，在每一个滑动的位置上，卷积核与输入图像之间会执行一个元素对应乘积并求和的运算以将感受野内的资讯投影到特征图中的一个元素。这一滑动的过程可称为步幅 $Z_{s}$ ，步幅 $Z_{s}$ 是控制输出特征图尺寸的一个因素。卷积核的尺寸要比输入图像小得多，且重叠或平行地作用于输入图像中，一张特征图中的所有元素都是通过一个卷积核计算得出的，也即一张特征图共享了相同的权重和偏置项。

线性整流层

线性整流层（Rectified Linear Units layer, ReLU layer）使用线性整流（Rectified Linear Units, ReLU） $f(x)=\max(0,x)$ 作为这一层神经的激励函数（Activation function）。它可以增强判定函数和整个神经网络的非线性特性，而本身并不会改变卷积层。

事实上，其他的一些函数也可以用于增强网络的非线性特性，如双曲正切函数 $f(x)=\tanh(x)$ , $f(x)=|\tanh(x)|$ ，或者Sigmoid函数 $f(x)=(1+e^{-x})^{-1}$ 。相比其它函数来说，ReLU函数更受青睐，这是因为它可以将神经网络的训练速度提升数倍^[13]，而并不会对模型的泛化准确度造成显著影响。

池化层

池化（Pooling）是卷积神经网络中另一个重要的概念，它实际上是一种非线性形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。

直觉上，这种机制能够有效地原因在于，一个特征的精确位置远不及它相对于其他特征的粗略位置重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。通常来说，CNN的网络结构中的卷积层之间都会周期性地插入池化层。池化操作提供了另一种形式的平移不变性。因为卷积核是一种特征发现器，我们通过卷积层可以很容易地发现图像中的各种边缘。但是卷积层发现的特征往往过于精确，我们即使高速连拍拍摄一个物体，照片中的物体的边缘像素位置也不大可能完全一致，通过池化层我们可以降低卷积层对边缘的敏感性。

池化层每次在一个池化窗口（depth slice）上计算输出，然后根据步幅移动池化窗口。下图是目前最常用的池化层，步幅为2，池化窗口为 $2\times 2$ 的二维最大池化层。每隔2个元素从图像划分出 $2\times 2$ 的区块，然后对每个区块中的4个数取最大值。这将会减少75%的数据量。

$f_{X,Y}(S)=\max _{a,b=0}^{1}S_{2X+a,2Y+b}.$

除了最大池化之外，池化层也可以使用其他池化函数，例如“平均池化”甚至“L2-范数池化”等。过去，平均池化的使用曾经较为广泛，但是最近由于最大池化在实践中的表现更好，平均池化已经不太常用。

由于池化层过快地减少了数据的大小，目前文献中的趋势是使用较小的池化滤镜，^[14]甚至不再使用池化层。^[15]

RoI池化(Region of Interest)是最大池化的变体，其中输出大小是固定的，输入矩形是一个参数。^[16]

池化层是基于 Fast-RCNN ^[17]架构的卷积神经网络的一个重要组成部分。

完全连接层

最后，在经过几个卷积和最大池化层之后，神经网络中的高级推理通过完全连接层来完成。就和常规的非卷积人工神经网络中一样，完全连接层中的神经元与前一层中的所有激活都有联络。因此，它们的激活可以作为仿射变换来计算，也就是先乘以一个矩阵然后加上一个偏差(bias)偏移量(向量加上一个固定的或者学习来的偏差量)。

损失函数层

损失函数层（loss layer）用于决定训练过程如何来“惩罚”网络的预测结果和真实结果之间的差异，它通常是网络的最后一层。各种不同的损失函数适用于不同类型的任务。例如，Softmax交叉熵损失函数常常被用于在K个类别中选出一个，而Sigmoid交叉熵损失函数常常用于多个独立的二分类问题。欧几里德损失函数常常用于标签取值范围为任意实数的问题。

应用

影像识别

卷积神经网络通常在影像识别系统中使用。

视频分析

相比影像识别问题，视频分析要难许多。CNN也常被用于这类问题。

自然语言处理

卷积神经网络也常被用于自然语言处理。 CNN的模型被证明可以有效的处理各种自然语言处理的问题，如语义分析^[18]、搜索结果提取^[19]、句子建模^[20] 、分类^[21]、预测^[22]、和其他传统的NLP任务^[23] 等。

药物发现

卷积神经网路已在药物发现中使用。卷积神经网络被用来预测的分子与蛋白质之间的相互作用，以此来寻找靶向位点，寻找出更可能安全和有效的潜在治疗方法。

围棋

卷积神经网络在电脑围棋领域也被使用。2016年3月，AlphaGo对战李世乭的比赛，展示了深度学习在围棋领域的重大突破。

微调（fine-tuning）

卷积神经网络（例如Alexnet、VGG网络）在网络的最后通常为softmax分类器。微调一般用来调整softmax分类器的分类数。例如原网络可以分类出2种图像，需要增加1个新的分类从而使网络可以分类出3种图像。微调（fine-tuning）可以留用之前训练的大多数参数，从而达到快速训练收敛的效果。例如保留各个卷积层，只重构卷积层后的全连接层与softmax层即可。

经典模型

LeNet

AlexNet

VGG

GoogLeNet

ResNet

可用包

roNNie: 是一个简易入门级框架,使用Tensorflow 计算层.可于python下载 pip3 ronnie
Caffe: Caffe包含了CNN使用最广泛的库。它由伯克利视觉和学习中心（BVLC）研发，拥有比一般实现更好的结构和更快的速度。同时支持CPU和GPU计算，底层由C++实现，并封装了Python和MATLAB的接口。
Torch7（www.torch.ch）
OverFeat
Cuda-convnet
MatConvnet
Theano：用Python实现的神经网络包^[24]
TensorFlow
Paddlepaddle(www.paddlepaddle.org)
Keras

参考

^ Ventoy releases. GitHub. ventoy.net. [2021-04-22]. （原始内容存档于2021-04-10）.
^ libev 的 README. [2020-02-25].
^ gvpe. software.schmorp.de. [2020-02-24].
^ rxvt-unicode. software.schmorp.de. [2020-02-24].
^ Audit. people.redhat.com. [2020-02-24].
^ Deliantra MMORPG. www.deliantra.net. [2020-02-24].
^ LICENSE. Github. [25 Feburary 2020].
^ LICENSE. [2020-02-25].
^ What's the difference between libev and libevent?. Stack Overflow. [2020-02-24].
^ LICENSE. Github. [25 Feburary 2020].
^ Convolutional Neural Networks (LeNet) - DeepLearning 0.1 documentation. DeepLearning 0.1. LISA Lab. [31 August 2013].
^ Convolutional Neural Network. [2014-09-16].
^ Krizhevsky, A.; Sutskever, I.; Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems. 2012, 1: 1097–1105. （原始内容存档于2015-02-16）.
^ Graham, Benjamin. Fractional Max-Pooling. 2014-12-18. arXiv:1412.6071  [cs.CV].
^ Springenberg, Jost Tobias; Dosovitskiy, Alexey; Brox, Thomas; Riedmiller, Martin. Striving for Simplicity: The All Convolutional Net. 2014-12-21. arXiv:1412.6806  [cs.LG].
^ Grel, Tomasz. Region of interest pooling explained. deepsense.io. 2017-02-28 （英语）.
^ Girshick, Ross. Fast R-CNN. 2015-09-27. arXiv:1504.08083  [cs.CV].
^ Grefenstette, Edward; Blunsom, Phil; de Freitas, Nando; Hermann, Karl Moritz. A Deep Architecture for Semantic Parsing. 2014-04-29. arXiv:1404.7296  [cs.CL].
^ Learning Semantic Representations Using Convolutional Neural Networks for Web Search – Microsoft Research. research.microsoft.com. [2015-12-17].
^ Kalchbrenner, Nal; Grefenstette, Edward; Blunsom, Phil. A Convolutional Neural Network for Modelling Sentences. 2014-04-08. arXiv:1404.2188  [cs.CL].
^ Kim, Yoon. Convolutional Neural Networks for Sentence Classification. 2014-08-25. arXiv:1408.5882  [cs.CL].
^ Collobert, Ronan, and Jason Weston. "A unified architecture for natural language processing: Deep neural networks with multitask learning."Proceedings of the 25th international conference on Machine learning. ACM, 2008.
^ Collobert, Ronan; Weston, Jason; Bottou, Leon; Karlen, Michael; Kavukcuoglu, Koray; Kuksa, Pavel. Natural Language Processing (almost) from Scratch. 2011-03-02. arXiv:1103.0398  [cs.LG].
^ 深度网络：Theano项目主页。

[1] Ventoy releases. GitHub. ventoy.net. [2021-04-22]. （原始内容存档于2021-04-10）.

[2] v 的 README. [2020-02-25].

[3] vpe. software.schmorp.de. [2020-02-24].

[4] rxvt-unicode. software.schmorp.de. [2020-02-24].

[5] Audit. people.redhat.com. [2020-02-24].

[6] Deliantra MMORPG. www.deliantra.net. [2020-02-24].

[7] LICENSE. Github. [25 Feburary 2020].

[8] LICENSE. [2020-02-25].

[9] What's the difference between libev and libevent?. Stack Overflow. [2020-02-24].

[10] LICENSE. Github. [25 Feburary 2020].

[deeplearning-11] Convolutional Neural Networks (LeNet) - DeepLearning 0.1 documentation. DeepLearning 0.1. LISA Lab. [31 August 2013].

[STANCNN-12] Convolutional Neural Network. [2014-09-16].

[13] Krizhevsky, A.; Sutskever, I.; Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems. 2012, 1: 1097–1105. （原始内容存档于2015-02-16）.

[14] Graham, Benjamin. Fractional Max-Pooling. 2014-12-18. arXiv:1412.6071  [cs.CV].

[15] Springenberg, Jost Tobias; Dosovitskiy, Alexey; Brox, Thomas; Riedmiller, Martin. Striving for Simplicity: The All Convolutional Net. 2014-12-21. arXiv:1412.6806  [cs.LG].

[16] Grel, Tomasz. Region of interest pooling explained. deepsense.io. 2017-02-28 （英语）.

[rcnn-17] Girshick, Ross. Fast R-CNN. 2015-09-27. arXiv:1504.08083  [cs.CV].

[18] Grefenstette, Edward; Blunsom, Phil; de Freitas, Nando; Hermann, Karl Moritz. A Deep Architecture for Semantic Parsing. 2014-04-29. arXiv:1404.7296  [cs.CL].

[19] Learning Semantic Representations Using Convolutional Neural Networks for Web Search – Microsoft Research. research.microsoft.com. [2015-12-17].

[20] Kalchbrenner, Nal; Grefenstette, Edward; Blunsom, Phil. A Convolutional Neural Network for Modelling Sentences. 2014-04-08. arXiv:1404.2188  [cs.CL].

[21] Kim, Yoon. Convolutional Neural Networks for Sentence Classification. 2014-08-25. arXiv:1408.5882  [cs.CL].

[22] Collobert, Ronan, and Jason Weston. "A unified architecture for natural language processing: Deep neural networks with multitask learning."Proceedings of the 25th international conference on Machine learning. ACM, 2008.

[23] Collobert, Ronan; Weston, Jason; Bottou, Leon; Karlen, Michael; Kavukcuoglu, Koray; Kuksa, Pavel. Natural Language Processing (almost) from Scratch. 2011-03-02. arXiv:1103.0398  [cs.LG].

[24] 深度网络：Theano项目主页。

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]