模拟退火算法

TIP

神经网络优化的最大难题就是很容易陷入局部最优,前段时间考虑神经网络优化方法的时候偶然考虑到了这样一个问题:能量为什么总是能达到最低呢?就该问题我展开了一系列的思考,当然,瞎想也没想出个啥,直到今天遇到了模拟退火算法,嗯,新的思考又开始了~

使用 JupyterLab 开启全新的炼丹之旅

TIP

本地设备的配置大大限制了炼丹的效率,如果有一个合适的服务器的话,如何配置能最方便地进行炼丹呢?

Linux 上使用源码编译程序

TIP

虽然 Linux 上的包管理器很方便,但是没有 root 权限时还是很头疼的,这就需要我们自己寻找软件源码自行编译咯~

下面以安装 node-v12.16.1 为例

残差结构的作用

TIP

这并不是讲解残差网络的一篇文章,而是对残差结构对神经网络的一些作用的感悟,很多想法是来自于其它网络诸如 DenseNet、Xception 等等的启发

注意力机制与 Mask 机制

TIP

NLP 中大火的 Attention 机制在其他领域(CNN 与 GNN 等)中也有着不小的应用趋势,但是 Attention 本质上是个什么机制呢?

  • «
  • 1
  • 2
  • ...
  • 7
  • »