nn.leakyrelu 第2页

入门|关于神经网络:你需要知道这些

神经网络（NN）几乎可以在每个领域帮助我们用创造性的方式解决问题。本文将介绍神经网络的相关知识。读后你将对神经网络有个大概了解，它是如何工作的？如何创建神经网络？本文涉及以下内容：神经网络的发展历史什么是真正的神经网络？单元/神经元权重/参数/连接偏置项超参数激活函数层神经网络学习时发生了什么？实现...

深度学习的秘密武器:用 PyTorch 的 torch.nn.ReLU 打造高效模型

前言在深度学习模型中，激活函数扮演着至关重要的角色。它们不仅帮助引入非线性，使得神经网络能够学习复杂的模式，还对网络的性能和训练速度有直接影响。ReLU（RectifiedLinearUnit）是最常用的激活函数之一，本篇文章将深入探讨torch.nn.ReLU的工作原理及应用。简介torc...

生成对抗网络(GAN)的半监督学习

前言如果您曾经听说过或研究过深度学习，那么您可能就知道MNIST,SVHN,ImageNet,PascalVoc或者其他数据集。这些数据集都有一个共同点：它们由成千上万个有标签的数据组成。换句话说，这些集合由(x，y)对组成，其中(x)是原始数据，例如是一个图像矩阵；而(y)则表示该数据点...

转置卷积层和卷积层是一样的吗?使用PyTorch进行概念试验

在这篇文章中，我将使用常规卷积操作测试和比较神经网络的分类任务，并通过用转置卷积替换卷积来比较相同的网络。转置卷积运算转置卷积操作现在是众所周知的，并且已经在许多需要上采样的模型中使用。它与卷积运算非常相似，只是卷积矩阵被转置。因此结果是输出增长而不是减少（取决于使用的padding，步幅和内核大小...

一文读懂Sigmoid和Relu的区别

Sigmoid和Relu都是常用的激活函数，但它们的作用不同。Sigmoid函数将输入值映射到0到1之间的连续输出，适用于二分类问题。而Relu函数则将输入值映射到大于0的输出，适用于多分类和回归问题。Sigmoid和Relu的区别和差异主要有以下几个方面：Sigmoid函数是双侧饱和的，即朝着正负...

激活函数解析:Sigmoid, tanh, Softmax, ReLU, Leaky ReLU

作者：SAGARSHARMA编译：ronghuaiyang导读激活函数是神经网络中必不可少的组成部分，这篇文章给大家介绍了各种各样的激活函数，一起来看看吧。什么是激活函数？就是在神经网络的输出后面加的一个东西（节点）。也就是转换函数，也可以加在两层神经网络之间。我们为什么要在神经网络中使用激活函数...

如何发现「将死」的ReLu?可视化工具TensorBoard助你一臂之力

选自Medium作者：JithinJayan机器之心编译参与：魔王、张倩深度学习模型训练中会出现各种各样的问题，比如梯度消失、梯度爆炸，以及DyingReLU。那么如何及时发现这些问题并找出解决方案呢？本文以DyingReLU问题为例，介绍了如何使用可视化工具TensorBoard发...

深度学习简介:前馈神经网络FFNN(又名多层感知器MLP)

人工神经网络(ANN)由许多相互连接的神经元组成:每个神经元接受一些浮点数(例如1.0、0.5、-1.0)，并将它们乘以一些称为权重的其他浮点数（例如0.7,0.6,1.4）（1.0*0.7=0.7,0.5*0.6=0.3，-1.0*1.4=-1.4）。权重作为一种机制，用...

PyTorch Leaky ReLU揭秘:解决神经网络‘死亡神经元’的终极利器

前言在深度学习中，激活函数是神经网络中至关重要的组件之一。它们决定了神经网络的非线性特性，从而使网络能够学习复杂的模式。torch.nn.LeakyReLU是PyTorch框架中提供的一种激活函数，旨在解决传统ReLU函数的一些不足之处。本篇文章将详细探讨torch.nn.LeakyRe...

机器学习100天-Day2301 深层神经网络DNN(Relu & LeakyRelu)

说明：本文依据《Sklearn与TensorFlow机器学习实用指南》完成，所有版权和解释权均归作者和翻译成员所有，我只是搬运和做注解。进入第二部分深度学习第十一章训练深层神经网络在第十章以及之前tf练习中，训练的深度神经网络都只是简单的demo，如果增大数据量或是面对更多的特征，遇到的问题就...