彻底弄懂QANet

本文在翻译论文《QANET: COMBINING LOCAL CONVOLUTION WITH GLOBAL SELF-ATTENTION FOR READING COMPRE- HENSION》的同时,加入了一些自己的理解,希望可以帮助大家更好的理解这个机器阅读理解的架构。当然了,如果你真的希望深入研究机器阅读理解的话,还推荐你看一下BERT。 Abstract 当前及其阅读理解和问答领域的端到端模型主要都是基于包含Attention的循环神经网络,虽然他们取得了不错的成绩,但是他们的训练和预测方面的性能太差了。 QANet是一种问答问答架构,他不需要循环网络构成,而是仅由CNN和self-Attention组成。CNN对于局部信息进行捕获,

彻底弄懂残差网络Residual Network

Introduction 层数过深的深度网络会出现退化问题,这是在训练集上精度变差的情况,因此是不同于过拟合的一种现象,分析可能是优化器对于深度网络难以学习到最优解。 解决办法就是找到一种恒等映射,一个深层网络,如果后面的一大堆层都是恒等映射,那么这个深度网络其实就退化成了一个浅层网络。那么我们现在就希望可以找到一个恒等映射函数 \( H(x) = x \)但是直接拟合出这个函数是有困难的,不然深层网络也不会出现退化现象了。于是我们把网络设计成 \[ F(x) = H(x) - x \] 我们通过学习\( F(x) \) ,并且令其等于0,

Win10安装TensorFlow1.9-GPU版本

前言 前段时间更新自己电脑上的tf1.4到1.9,没想到踩了这么多坑。。。特意记录下来希望可以帮到大家 删除旧版本 如果你电脑上没有安装旧版本的tf,就可以忽略这一步。我是因为想要升级到最新版本,所以需要先卸载旧版本。旧版本是用anaconda安装的,卸载很简单,首先进入安装tf的环境,我的环境是“tensorflow”: activate tensorflow 然后卸载TensorFlow就好,或者直接删除这个tensorflow的环境,卸载tensorflow可以使用: (tensorflow)pip uninstall tensorflow-gpu 前提是你安装的时候使用的是pip指令。

LintCode-51PreviousPermutation

题目: 给定一个整数数组来表示排列,找出其上一个排列。 样例: 给出排列[1,3,2,3],其上一个排列是[1,2,3,3] 给出排列[1,2,3,4],其上一个排列是[4,3,2,1] 要点1:什么是上一个排列呢?

LintCode-211StringPermutation

题目: 给定两个字符串,请设计一个方法来判定其中一个字符串是否为另一个字符串的置换。 置换的意思是,通过改变顺序可以使得两个字符串相等。 样例: "abc" 为 "cba" 的置换。 "aabc" 不是 "abcc" 的置换。 思路1 使用Hash表,时空复杂度为O(n) 代码如下: public class J211_StringPermutation { public boolean run(

ML-AlphaGo Zero原理浅析

Introduction 当今有很多人工智能系统是使用监督学习的方法进行训练的,它们被训练成可以模仿人类专家去做出决策。然而: 在很多领域,监督学习的训练数据是昂贵的,不可靠甚至不可用的。 很多监督学习模型都存在一些性能上的瓶颈。 相比于强化学习方法: 模型根据机器自己的经验进行训练,原则上是可以超越人类的水准的。 强化学习可以运用在一些缺乏人类经验的领域中。 Difference 那么这次的Zero与之前各种版本的Go有哪些不同呢? 算法上,自对弈强化学习,从随机落子开始学习,不使用人类棋谱。之前Go的各种版本是使用了3000w+的人类棋谱。 数据结构上,只使用黑子白子两种状态。之前包含了这个点的气等信息。 模型上,只使用了一个神经网络,同时输出policy和value。

彻底学会PCA3-最近重构性的推导

【系列文章】: 彻底学会PCA1-理解PCA原理 彻底学会PCA2-最大可分性的推导 彻底学会PCA3-最近重构性的推导 前言 这一篇文章主要讲解PCA的另外一种推导方式——最近重构性。这个系列的三篇文章的数学难度是渐进的,所以这一篇文章的数学要求也是最高的。这篇文章主要是我在学习《Deep Learning》的时候做的总结,因为涉及到大量的公式推导,在网页上书写公式太过繁琐,所以使用截图的方式给出。在必要的地方我会加上我自己的理解,希望可以帮助到你,欢迎与我通过邮箱进行交流。 最近重构性 这里解释一下这个线性代数微积分最优化问题。前面我们通过转置相乘的方式表示内积,即\(A\cdot A

彻底学会PCA2-最大可分性的推导

【系列文章】: 彻底学会PCA1-理解PCA原理 彻底学会PCA2-最大可分性的推导 彻底学会PCA3-最近重构性的推导 前言 上一篇文章《彻底学会PCA1-理解PCA原理》中,我为大家讲解了一下PCA是什么,这一篇文章我打算从数学的角度推导一下PCA。PCA一共有2种证明方式,一种是最大可分性,一种是最近重构性。这一篇文章从最大可分性的角度进行介绍,另一种解释会在下一篇文章中介绍。希望可以帮助到大家,欢迎随时通过邮箱与我交流。 阅读本篇文章,您需要掌握基本的向量、基、方差、协方差矩阵等相关基础知识。 优化目标 推导的大体思路就是明确优化目标,然后求出最优解。我们在这里通过一个例子来引出优化目标。

彻底学会PCA1-理解PCA原理

【系列文章】: 彻底学会PCA1-理解PCA原理 彻底学会PCA2-最大可分性的推导 彻底学会PCA3-最近重构性的推导 前言 最近在学习机器学习相关的一些线性代数知识,这其中就涉及到了PCA的原理。在这里将自己的学习过程整理成一个系列,希望可以帮助到大家。如果您有任何问题可以给我发邮件,我会在第一时间反馈给您。读懂这篇文章需要一定的线性代数知识,比如向量、矩阵、【特征向量】以及【特征值】的相关知识。如果您现在并未掌握上述基础知识还请先学习一下,互联网上有丰富的学习资源。 PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,

ML-情感分析2-使用向量空间模型与SVM进行情感分析

前言 在ML-情感分析1-使用W2V与SVM进行情感分析这篇文章中,我们使用了word2vec模型进行了向量化,同时还为大家介绍了一下情感分析的基本流程。今天我们在这一篇文章中将为大家介绍向量空间模型向量化文字、使用卡方检验降维和使用tf-idf值规范化输入矩阵的知识。如果您对上述知识有什么不了解的地方,没关系,我都会在本篇文章中进行简略介绍。 1、语料预处理 作者在这里使用的是一个携程酒店正面负面评论的语料库,有3000条负面评论和7000条正面评论。可以从CSDN上面下载。如果您实在找不到下载资源可以从文末的给出的链接中下载。 同时我们还需要获取一个停用词表,这里我选择使用了中科院提供的一个停用词表。相关的资源都在我的ML-情感分析1-使用W2V与SVM进行情感分析这篇文章的文末给出了。 我们首先还是需要将语料转换成UTF-8的格式,相关代码在上篇文章中,接下来依次清洗数据、数据分词、去除停用词。建议首先从上一篇文章阅读 2、向量空间模型

Previous Page
Page 1 of 3