经典推荐模型:AutoRec
在之前，我们介绍了协同过滤模型，该模型根据用户的行为历史生成用户-物品共现矩阵，利用用户相似性和物品相似性进行推荐。 本文要介绍的AutoRec也使用了用户-物品共现矩阵，但不同于协同过滤模型之处在于，AutoRec借鉴了自编码器(AutoEncoder)的思想，对用户向量或物品向量进行了自编码，利用自编码结果得到用户对于物品的评分，据此进行推荐排序。 假设共m个用户，n个物品，则共现矩阵的维度为mxn。 以物品的AutoRec(Item based...
深度推荐模型的前夜：MLR
直观理解MLRLS-PLM(Large Scale Piecewise Linear Model)，又称MLR(Mixed Logistic Regression)，从名字就可以看出，它是多个逻辑回归模型的组合。 对于某一数据集，假设用户特征为性别(男, 女)，物品特征为物品类别(键盘,女装)，即： 1234性别为男 性别为女 物品类别为键盘 物品类别为女装 是否点击(待预测标签)1 0 1 0 是0 1 0 1 是... 在该数据集上使用MLR时，首先会将该数据集的全部特征划分为若干区域，比如划分为如下4个区域： 1234567性别为男 物品类别为键盘性别为男 物品类别为女装性别为女 物品类别为键盘性别为女 ...
RL基本概念
一、强化学习中的基本概念##state and action policy根据观测到的状态做出决策，以控制Agent运动。 强化学习就是学pocily函数。 pocily函数一般是个概率密度函数，具有随机性。 比如，在玩剪刀石头布时，如果你的出拳策略不随机，那么就有规律可循，当对方观察到这一规律时，你就gg了。 reward强化学习的目标是使得reward更高。 state transition agent environment interaction Randomness in Reinforcement Learning Play the game with AI rewards and returns当前时刻的return定义为当前时刻以及之后时刻reward的总和。 但是时间越久，奖励越不明显，因此对应的权重可以设置小一些： return中的随机性： Action-value functions State-Value Function Value Functions Summary Play the game with...
何为空洞卷积?
卷积再回顾你可能经常看到，两个3x3的卷积核或者单独一个5x5的卷积核的感受野大小是相同的。 那么问题来了： 为何两者的感受野大小会相同呢？ 既然相同，那为何大多数时候都选择两个3x3的卷积核呢？ 对于第一个问题，可以用特征图尺寸计算公式来验证： 假设输入特征图尺寸为10x10,...
何为转置卷积?
...
电子商务AI算法大赛Top2方案分享
上一次，我们介绍了电子商务AI算法大赛中我个人的解决方案。虽然在经过一顿操作后，线上分数得到了肉眼可见的提升，但相比于大佬们的成绩还是差了亿点点的 所以呢，这次来解读top2选手的解决方案，从优秀开源代码中学习思路，积累经验。 关于赛题的介绍以及数据集说明，可以回看上一篇文章哈：xxxxxx 线下验证方案date字段代表的是第几天，训练集中date的取值范围是从1 到116，共116天；测试集中date的取值范围是117到123共7天。于是从训练集中划出最后7天的数据作为验证集进行线下验证： 而在最终提交时，取消验证集，用全部训练数据进行训练： 数据集划分代码如下： 123456def split_dataset(data, valid_start_date, gap): train = data[data['date']<valid_start_date].copy() valid =...
电子商务AI算法大赛baseline
目录抢先看：[TOC] 赛题背景随着电子商务与全球经济、社会各领域的深度融合，电子商务已成为我国经济数字化转型巨大动能。庞大的用户基数，飞速发展的移动互联网行业，balabalabala…… 本次比赛提供消费门户网站“什么值得买”2021年1月-2021年5月真实平台文章数据约100万条，旨在根据文章前两个小时信息，利用当前先进的机器学习算法进行智能预估第三到十五小时的文章产品销量，及时发现有潜力的爆款商品，将业务目标转化成商品销量预测，为用户提供更好的产品推荐并提升平台收益。 赛题地址： https://www.automl.ai/competitions/19#home 数据介绍赛题数据包含以下部分： 1234- train.csv #训练数据- test.csv #测试数据- sample_submission.csv #样例预测文件- sample_submission.csv.zip #样例提交文件 数据集所含字段如下： 1234567891011121314151617181920212223242526字段名称 字段类型 字段说明 article_id ...
推荐模型:从逻辑回归到POLY2到FM再到FFM
无论是基于内容的推荐算法，还是协同过滤算法，它们都只用到了用户和物品之间的行为信息，所以能不能加入更多的信息，比如用户/物品本身的信息以及上下文信息来更好地指导推荐呢？ 事实上，这正在把推荐问题转化为我们所熟悉的机器学习问题。具体来讲，给定训练集，利用训练集的特征和标签训练一个模型，然后用该模型指导推荐。 在之前讲解的协同过滤算法中，我们通常是预测某用户对于某些物品的打分，然后按照打分值从高到低排列物品，选择前几个推荐给用户。 而这里，训练好的模型会直接预测某用户是否会对物品产生正反馈（比如购买一件商品，观看一部电影等），若会，则将物品推荐给该用户。没错，这就是一个二分类问题。 接下来介绍几个经典的相关模型，有一些可能已经听说过，比如逻辑回归，嗯，就从它开始吧~ 逻辑回归逻辑回归(Logistic Regression,...
当SVD遇见CF
...
用Python搭建一个课程推荐系统:基于协同过滤算法
本文分享一个开源项目：课程推荐系统。 项目地址见文末参考资料[1]. 该项目基于协同过滤算法，输入要预测的用户id以及要推荐的课程总数，输出推荐结果。 整个项目将使用Flask框架进行部署。 代码结构 主要逻辑在generator.py中，与其并列的testing.py作测试用，其余文件都是些工程上的代码(内存占用优化，日志文件处理，前端展示)。 数据处理原数据是日志文件，作者已经针对这些日志文件做了处理(使用Input Preprocessing中的模块)，并提供了处理好的数据(.csv)，因此这一步可以忽略。 读取处理后的数据： 12import pandas as...
