很不错,但是看了一下源码,貌似没有维护本地数据的模块.对于大量细粒度数据的回测,没有本地数据很慢.比如要回测过去10年1分钟数据(更细的还有TICK...) 是不是应该弄一个HDF5文件,然后弄一个模块每天或实时维护它?
Activity
wondereamer commentedon Mar 27, 2016
我也有添加hdf5模块的想法,目前本地数据维护的比较好的的是csv, sqlite部分接口我还没改完,由于时间原因,还没有开发本地数据实时维护的功能。
dindom999 commentedon Mar 27, 2016
A股每天TICK的NUMPY数据量大约2G,CSV或SQLITE都无法处理
2016-03-27 10:28 GMT+08:00 wondereamer notifications@github.com:
wondereamer commentedon Mar 27, 2016
sqlite 无法处理,你是指效率,还是指单个sqlite的文件有2gb上限?
dindom999 commentedon Mar 27, 2016
效率很低
2016-03-27 16:31 GMT+08:00 wondereamer notifications@github.com:
wondereamer commentedon Mar 28, 2016
就部署和效率的平衡来说,hdf5是个不错的选择,但是我目前没有时间开发这个,因为系统还有优先级更高的任务。sKabYY 在开发mongodb模块,这个可以一定程度上解决问题。如果你感兴趣,可以试试开发基于hdf5的数据模块:P