xgboost 训练大数据,内存不够 out of memory

       如果要训练(测试)的样本很多,达到上百上千万,单机载入不了内存时,可以采用如下方法:

1、生成libsvm文件

       将要处理的数据分批(比如一次读10000行/个样本)读入内存,缺失值填充、特征过程等处理完毕之后,使用sklearn.datasets.dump_svmlight_file()将其转为libsvm数据格式保存到磁盘;libsvm格式也是每行一个样本,所以多个文件很容易合并(比如使用linux命令:cat file1>> file2)。

2、构造xgb.DMatrix

      构造xgb.DMatrix时,采用指定libsvm文件的方式,并在libsvm文件名末尾加上缓存文件名,格式为:filename#cacheprefix

      filename就是合并后的libsvm文件,cacheprefix就是自己指定一个文件名,用来给xgb缓存使用(这个文件不必提前自己创建)。

例如:

      dtain = xgb.DMatrix(data = ‘./data/engineering_data/mylibsvm#dtrain.cache’)

      这里filename = ‘./data/engineering_data/mylibsvm’,cacheprefix = ‘dtrain.cache’

     上述语句执行后,“代码文件所在的路径”下就会产生xgb需要使用的缓存文件,这样xgb就不必将所有的训练(测试)数据都放在内存中。

3、总结

     1、首先主要是构造大的libsvm文件

     2、然后构造DMatrix,使用指定libsvm文件并加上一个缓存文件名,而不是采用内存方式(DataFrame等)

 

参考文献:

https://xgboost.readthedocs.io/en/latest/tutorials/external_memory.html

 

    原文作者:夕阳下江堤上的男孩
    原文地址: https://blog.csdn.net/YE1215172385/article/details/86759858
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞