插入100万条记录在MySQL
我有两个表和两个表中,我得到100万条记录。而我使用cron作业每天晚上插入记录。在第一个表,我先截断表,然后插入记录和在第二个表中我正在更新并根据主键插入记录。我使用MySQL作为我的database.My问题是我需要每天做这个任务,但我无法插入。所以什么可以为这个问题插入100万条记录在MySQL
重要的可能的解决方案的所有数据都将掀起都挺行动和检查的MySQL希望发布数据时进行,如自动提交,索引等
https://dev.mysql.com/doc/refman/5.7/en/optimizing-innodb-bulk-data-loading.html
因为如果你不这样做,MySQL的做了很多工作的每一个记录添加后,它增加了,当进程正在进行时,导致进程非常缓慢并最终导入,并且可能无法在一天内完成。
如果必须使用MySQL:对于第一个表,禁用索引,做镶件,比启用索引。这将工作得更快。
或者MongoDB的速度会更快,而Redis的速度非常快。
如果一个Rails用户要从MySQL切换数据库,他们的第一个想法应该是PostgreSQL。但这似乎是不成熟的建议。 –
我的主要建议是禁用索引。这是一个很好的,并投票给我,因为这不是很酷。 Redis的PostgreSQL并没有像MySql那么快。取决于你的需求,这可能是一个很好的解决方案。特别是对于临时数据(例如这种情况)。 –
我不知道你为什么被低估或谁低估了你。我认为目前还不清楚OP有什么问题......也许这是一个表现问题,但目前这是一个非常低质量的问题(我*有*倒票) –
你可以向一些详细的解决方案英寸。这在上面没有看到。 – Drew
“但我无法插入所有数据”为什么? – ytbryan