【常用于分类问题】交叉熵、相对熵
假设有离散型随机变量X的两个概率分布$p(x)$和$q(x)$，其中$p(x)$是数据的真实分布，$q(x)$是预测的数据分布。使用交叉熵或相对熵来度量$q(x)$逼近$p(x)$的效果，逼近程度越高，则两者的交叉熵或者相对熵就越小，因此可作为损失函数。 交叉熵$$H(p,q)=\sum_ip(x_i)log\frac1{q(x_i)}=-\sum_ip(x_i)log(q(x_i))$$ 二分类对于二分类问题，真实标签一般用0和1来表示，假设真实的标签为$y_1,y_2,…,y_k$，预测得到的列向量为$yp_1,yp_2,…yp_k$ 其中$y_i\in{0,1},i=1,2,…,k$ 则交叉熵损失为$$H(y,yp)=-(y_1log(yp_1)+y_2log(yp_2)+…+y_klog(yp_k))$$ 举个例子，假设共4个样本，其真实标签分别是$$ \begin{bmatrix} 1 &0&1&0 \end{bmatrix}$$（经sigmoid激活函数）预测输出得到$$...
幻听
转瞬即逝的美丽最适合在一遍又一遍的怀念里打磨出永恒的光彩 在远方的时候 又想你到泪流 这矫情的措辞结构 经历过的人会懂 那些不堪言的疼痛 也就是我自作自受 你没有装聋 你真没感动 一个人的时候 偷偷看你的微博 你转播的歌好耳熟 我们坐一起听过 当日嫌它的唱法做作 现在听起来竟然很生动 可能是时光让耳朵变得宽容 如今一个人听歌总是会觉得失落 幻听你在我的耳边轻轻诉说 夜色多温柔 你有多爱我 如今一个人听歌总是会觉得难过 爱已不在这里我却还没走脱 列表里的歌 随过往流动 一个人的时候 偷偷看你的微博 你每天做了些什么 我都了然于胸 当时嫌你的蠢话太多 现在回想起画面已泛旧 可能是孤独让情绪变得脆弱 如今一个人听歌总是会觉得失落 幻听你在我的耳边轻轻诉说 夜色多温柔 你有多爱我 如今一个人听歌总是会觉得难过 爱已不在这里我却还没走脱 列表里的歌 随过往流动 如今一个人听歌总是会觉得失落 幻听你在我的耳边轻轻诉说 夜色多温柔 你有多爱我 如今一个人听歌总是会觉得难过 爱已不在这里我却还没走脱 如果你回头 不要放下我
高阶函数，匿名函数-Python基础连载（十三）
开篇前面已经学习了函数以及函数的各种形式的参数。 本期要介绍的高阶函数也是函数的一种，只不过与普通的函数不同的是，高阶函数的参数可以是另外一个函数，高阶函数的返回值也可以是另外一个函数。 本期你将学习到Python的3个常用高阶函数： map()、filter()和reduce()。 你完全可以把高阶函数看做是一个正常的函数（本来就是），只不过其参数和返回值可以是函数。这样学习起来可能会更加轻松。 mapmap用于对某一个可迭代对象中的每一个元素施加同一种操作。 map()有两个参数，第一个参数是一个函数，第二个参数是一个可迭代对象。 还是拿栗子来说明： 对于列表lis=[1,2,3]，将列表中的每一个元素做平方操作，并将结果存入新的列表 如果采用普通的函数解答，你应该能写出如下的类似代码： 12345678910lis=[1,2,3]#求平方的函数def square(x): return x**2new=[]#遍历求平方for x in lis: temp=square(x) ...
函数，化繁为简-Python基础连载（十二）
开篇考虑这么一个问题： 求解1到4之和 到现在，你已经学习了分支循环以及六大数据类型，所以这题很简单啦，你应该能很轻松的写出下面的代码： 1234sum=0for i in range(1,5): sum+=iprint('1+2+3+4=',sum) bingo！ 那如果问题改为求解1到10之和呢？ 也不难对吧，只需对range()稍作修改： 1234sum=0for i in range(1,11): ...
那些年
...
LSTM
可以把 lstm的memory看做一个neural LSTM的解释图： 一个neural的工作过程 有点RNN的味道了 真正的LSTM
RNN在TF中的实现
Embedding层在 TensorFlow 中，可以通过 layers.Embedding(𝑁_vocab,𝑛)来定义一个 Word Embedding层，其中𝑁_vocab参数指定词汇数量， 𝑛指定embedding后的单词向量的长度 1import tensorflow as tf 1234567#这里应该是对一个句子而言x=tf.range(10)#生成10个单词的数字编码:[0,9]x=tf.random.shuffle(x)print(x)#创建10个单词，每个单词用长度为4的向量表示net=tf.keras.layers.Embedding(10,4)#10是单词个数，4是embedding后的向量长度out=net(x) tf.Tensor([1 0 8 9 3 4 5 6 2 7], shape=(10,),...
元组与集合-Python基础连载（十一）
开篇 在本期内容中，将介绍Python六大标准数据类型中最后两种：元组(tuple)与集合(set)。 元组(tuple)你已经学习过列表，并且知道列表是可变数据类型。这里要学习的元组和列表非常相似，在掌握列表的使用方法基础之上，再来学习元组会非常容易。 你只需记得元组与列表的不同之处： 1.元组是不可变数据类型 2.元组使用()包裹元素 元组的不可变特性决定了元组没有增删改等功能，只可查询。 其查询方法归纳如下： 1. index() ()内传入所要查询的元素值，返回该元素值所在的下标，若找不到该元素值，则报错： 1234>>> x=(1,2,3,4,5)>>> x.index(2)#查找元素2对应的下标1>>> x.index(2333) #2333不在x中，因此报错Traceback (most recent call last): File "<pyshell#50>", line 1, in <module> x.index(2333)ValueError:...
记忆中的那座房子
我又来到了记忆中的那所房子昏黄的傍晚，在东边那个小房间里，有几个人人嗑着瓜子，看着电视我认出了他们其中一人，其余人似曾相识，可却无法看清他们的面容时间一分一秒的流逝着…他们一直在那里，嗑着瓜子，看着电视潮湿的空气使我感觉到呼吸困难于是我走出房门，来到院子里抬头环顾天空，只见西南上空被墨汁浸染视线在晃动，墨汁在扩散又是一场逃不掉的大雨它伴随着夜色的临近而逐渐肆虐我从院子踱步至大门底下，拿了个马扎坐下，静静地等待着许久，耳畔清净了我看了下手机，晚8点透过东边房间的窗户，我看到暗蓝色的光影闪烁着，并时不时的传出豆子爆裂的声音据此推断...
捉迷藏
捉迷藏的游戏，一望无际的麦田那时夕阳未落，一群人藏，一个人找闭上双眼，在另一个时空重复阿拉伯数字，98，99，100…暗伏于柳后，栖身高草丛...
