最近有一张2000W条记录的数据表需要优化和迁移。2000W数据对于MySQL来说很尴尬，因为合理的创建索引速度还是挺快的，再怎么优化速度也得不到多大提升。不过这些数据有大量的冗余字段和错误信息，极不方便做统计和分析。所以我需要创建一张新表，把旧表中的数据一条一条取出来优化后放回新表；一. 清除冗余数据，优化字段结构2000W数据中，能作为查询条件的字段我们是预知的。所以将这部分数据单独创建新的字段，对于有规则的数据合理改变字段结构，比如身份证就是varchar(18)。对于不重要的数据我们合并后存在一个结构为text的字段。对于一些有关联的数据我们需要计算，常见的比如身份证种能获取到准确的性别，出生地、生日、年龄。二. 数据迁移我们从数据库中取出一条旧数据，再通过计算处理后得到想要的新数据，最后将新数据插入新表。不过在获取新数据时遇到如下问题。数据量太大，无法一次获取（2000W数据扔到
简介：最近有一张2000W条记录的数据表需要优化和迁移。2000W数据对于MySQL来说很尴尬，因为合理的创建索引速度还是挺快的，再怎么优化速度也得不到多大提升。不过这些数据有大量...
简介：开发项目过程中总是提到优化的概念，本篇文章是对Mysql数据优化实践的一次探索旅程，简要介绍了分区原因，方法，分区表管理方法和一次简单的实践。
简介：最近有一张2000W条记录的数据表需要优化和迁移。2000W数据对于MySQL来说很尴尬，因为合理的创建索引速度还是挺快的，再怎么优化速度也得不到多大提升。不过这些数据有大量...
4. Thinkphp where() 方法的 查找数据优化
简介：第一种方式 {代码...} 第二种方式 {代码...} 这两种方法都可以实现我想要的操作但是 第一种方法是否会对服务器或数据库造成压力 第二种是可以多写这一行代码 {代码...} 纠结中(⊙﹏⊙)
简介：这是他们一个开发写的SQL，目的是删除重复数据，且id是最小值的行不删除：deletefromjd_chapterawherea.`id`in(select`id`fromjd_chaptergroup&nbs..
6. Oracle 优化统计数据之直方图(histograms)
简介：直方图是一种按数据出现的频率来进行分类存储的方法.在oracle中直方图是用来描述表中列数据的分布情况.每一个sql在被执行前都要经
8. mysql 数据库-mysql问题：从三个表查询数据优化
简介：我有三个表，三个表的数据全部查询出来再排序，三个表的数据都很大，如何查询才能最节省资源，最优。
9. mysql-MySql 数据统计Update Select优化
简介：请教下各位大神，mysq update数据优化 遇到的问题是这样的。 表a有2个字段，ready_count,download_count 表b是统计表，有type,id 两个表的储存引擎都是MYISAM 需要把表b的数据count(1) group by(type)之后update到表a的那两个字段中。 我现在的SQL是这样的： update a _t1 set _t1.ready_count = ( SELECT count(1) FROM b _t2 WHERE _t2.tid = ...
简介：MySQL写入插入数据优化配置
【相关问答推荐】：
以上是关于数据优化的详细介绍的详细内容。更多信息请关注PHP中文网其他相关文章！
