Overview 换了Windows电脑了,最近需要在Windows10系统上面使用Python的Zipline包,折腾了一上午,才终于搞定。必须记录一下整个安装过程,以后方便自己和他人。 先说明一下,github上面这个zipline包zipline最新版本是2020年的1.4.1版本,这个版本最多支持到Python3.6,所以这个老版本的Zipline应该是已经废弃了。最新的可用的应该...阅读全文>>
Overview 换了Windows电脑了,最近需要在Windows10系统上面使用Python的Zipline包,折腾了一上午,才终于搞定。必须记录一下整个安装过程,以后方便自己和他人。 先说明一下,github上面这个zipline包zipline最新版本是2020年的1.4.1版本,这个版本最多支持到Python3.6,所以这个老版本的Zipline应该是已经废弃了。最新的可用的应该...阅读全文>>
Overview 之前的文章,我们记录了如何用TensorFlow 2.0中的Keras模块实现DeepFM算法,TensorFlow 2.0实战DeepFM。本文继续用TensorFlow 2.0来实现另一个常见的深度学习推荐算法Deep&Cross。 1. 加载并处理数据 依然沿用之前的1,000,000条criteo数据。 import numpy as np import ...阅读全文>>
Overview 推荐系统最核心的部分在于排序算法,也就是我们说的CTR预估问题。这部分算法在最近几年发展迅速,我们这篇文章,希望用经典的criteo数据集,和TensorFlow 2.0中的Keras模块,来演示一下DeepFM是怎么做CTR预估的。 1. 准备数据 在这里下载criteo数据集:Download Kaggle Display Advertising Challenge ...阅读全文>>
Overview 本篇文章我们记录一下怎么用TensorFlow 2.0当中的Keras模块来进行RNN和LSTM文本分类。 1. 加载IMDB评论数据 import tensorflow_datasets as tfds import tensorflow as tf from tensorflow.keras import models, layers, losses, optimiz...阅读全文>>
Overview 之前的文章中记录了大数据平台上lightGBM分类器的Grid Search调参方法的应用。这次我们继续用lightGBM分类器,看看另外两种常用的调参方法随机搜索Random Search和贝叶斯优化Bayesian Optimization怎么在Spark平台上使用。 1. 加载相关包 import numpy as np import pyspark spark =...阅读全文>>
Overview 上一篇文章PySpark笔记之三:lightGBM调参之PySpark + Grid Search,我们记录了分别用PySpark中自带的CrossValidator和更通用的生成多个分类器同时执行训练预测的方式选取最好的模型。其中CrossValidator并不能得到验证集上最佳的分类器,而是得到训练集上最佳的效果。而mmlspark当中却有更为简单的方式,既可以得到验...阅读全文>>
Overview 在实际机器学习工作当中,调参是我们一个重要的内容。PySpark当中就实现了一个最常用的调参方法Grid Search,我们结合lightGBM使用一下PySpark的调参。这个程序需要安装的依赖的安装方式,可以参考上一篇博客。 1. 引入依赖包 import numpy as np import pyspark spark = pyspark.sql.SparkSess...阅读全文>>
Overview 就目前的PySpark版本2.4.5来说,虽有pyspark.ml这个模块可以进行机器学习,但是都是一些工业界不太常用的算法,而XGBoost和LightGBM这样的常用算法还没有集成。幸好微软前几年发布了mmlspark这个包,其中包含了深度学习和LightGBM等算法,可以和PySpark无缝对接。下面我们看看怎么用PySpark和mmlspark来运行LightGB...阅读全文>>