python - 如何在少动内存的情况下加载数据库里的数据?
高洛峰
高洛峰 2017-04-17 15:22:53
0
1
225

现在有这样一个问题:

1、数据在数据库里;
2、function Func(data),其中data需要大概100k条数据;

一般情况下,先把100k的数据读到内存中,通过函数Func调用,但耗内存;

如何在少动内存的情况下把数据库里的数据加载进Func(data)

感觉用迭代器似乎可以?但不确定

请教?

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

reply all (1)
刘奇

分成两部分来回答这个问题吧

  1. 从数据库里query,需要切分从数据库里查询的内容,可以使用id作为游标,把100k的数据切割成比如每次100条query回来,然后调用Func处理
  2. func本身的逻辑应该不需要全部的100kdata都在内村里才能完成,如果是比较简单的操作,func处理每一个切割开的数据片都没有问题的话,可以把最后的结果累加起来(或者reduce出来可能更合适)

对于迭代器来说,主要是用来封装对于数据库的查询的切分而言的,也就是每次查询100条还是10000条数据,使用迭代器封装后,对于func来说都是一样的。

    Latest Downloads
    More>
    Web Effects
    Website Source Code
    Website Materials
    Front End Template
    About us Disclaimer Sitemap
    php.cn:Public welfare online PHP training,Help PHP learners grow quickly!