84669 人学习
152542 人学习
20005 人学习
5487 人学习
7821 人学习
359900 人学习
3350 人学习
180660 人学习
48569 人学习
18603 人学习
40936 人学习
1549 人学习
1183 人学习
32909 人学习
改成异步也没多大用处,你这里是计算密集型,你的费时应该在 "key in need_cols", need_cols应该也是一个很大的数组,想办法优化这块就好。试试改成这样
ind = set(i.keys()) & set(need_cols) temp = {d: i[d] for d in ind}
自问自答
改成生成器就好了
def data_generator(*args): for i in v_data: # v_data是个较大的dict temp = {key: value for key, value in i.iteritems() if key in need_cols} # 部分key不需要 temp["sid"] = sid # 单独加一个sid yield temp
改成异步也没多大用处,你这里是计算密集型,你的费时应该在 "key in need_cols", need_cols应该也是一个很大的数组,想办法优化这块就好。
试试改成这样
自问自答
改成生成器就好了