使用Python+xlsxwriter处理爬虫数据,写入到excel
代码可以读取到全部数据,有9W行,但是写入文件,只能写入65536行
打开文件使用的是mac的numbers,不是office.
有朋友碰到过这个情况吗?帮忙看看.谢谢!
workbook = Workbook('albumsound.xlsx') 1 2 try: 3 f = workbook#创建工作簿 4 sheet1 = f.add_worksheet(u'专辑')#创建sheet 5 headings = [u'专辑名称', u'专辑类型', u'作者', u'播放量', u'上线时间', u'更新时间', u'单集数量'] 6 sheet1.write_row('A1', headings) 7 #for x in range(0, len(row0)): 8 # sheet1.write(0, x, row0[x], set_style('Times New Roman', 220, True)) 9 10 #sheet2 = f.add_worksheet(u'专辑') 11 #headings = [u'专辑名称', u'专辑类型', u'专辑作者', u'专辑上线时间', u'专辑更新时间', u'专辑播放量', u'单集数量', u'专辑链接'] 12 #sheet2.write_row('A1', headings, bold) 13 # 生成第一行 14 #for i in range(0, len(row0)): 15 # sheet2.write(0, i, row0[i], set_style('Times New Roman', 220, True)) 16 17 except Exception as e: 18 pass 19 20 con = mdb.connect('localhost', 'root', 'ubuntu', 'xmlyalbumdata', charset='utf8') 21 cur = con.cursor() 22 cur.execute("SET NAMES utf8") 23 24 time1 = datetime.now().strftime('%Y%m%d') 25 tabname = 'albumsound_' + time1 26 27 sql = """select * from {}""".format(tabname) 28 excel = cur.execute(sql) 29 datas = cur.fetchall() 30 i = 1 31 for data in datas: 32 sheet1.write(i, 0, data[1]) 33 sheet1.write(i, 1, data[2]) 34 sheet1.write(i, 2, data[3]) 35 sheet1.write(i, 3, data[4]) 36 sheet1.write(i, 4, data[5]) 37 sheet1.write(i, 5, data[6]) 38 sheet1.write(i, 6, data[7]) 39 i += 1 ### 这里的i最后输出9w行数据 40 # print i 41 42 f.close()
Excel2003版的是65536行,2007版和2010版的是1048576行
要不要先试一试每输出65536行换一个文件,或者把文件关闭后重新打开追加写入。
一楼的老兄已经给出了正确答案,看你的后缀是xlsx,其实数据已经写进去了,你是不是打开的时候用的excel2003,你应该换成2007以上的excel打开看看