MySQL open_tables和opened_tables

How MySQL Opens and Closes Tables:https://dev.mysql.com/doc/refman/5.7/en/table-cache.html

其他可供参考的文章有:

关于表限制参数的使用:https://dba.stackexchange.com/questions/5232/mysql-table-cache-and-opened-tables

关于SHOW OPEN TABLES命令的使用:https://www.percona.com/blog/2008/12/14/show-open-tables-what-is-in-your-table-cache/

 

一、本文涉及到的系统参数有3个:

  • table_open_cache

Server层参数。

这个参数表示针对所有threads的table cache总和,5.6.7之前默认是400,5.6.8之后是2000。

这是个server层的参数,mysql不支持并行查询,mysql的会话也没有PGA的概念,一个thread引用myisam表时需要在server层上创建一个table对象(索引也需要创建一个但是是共享的,self join会创建2个,分区表每个分区按单表对待),如果同时多个会话引用一个表也会创建多个表对象,虽然会加大内存使用量,但是却极大的减少了内部表锁的争用。

这个值的数目建议设置为max_connections*你的表数目,当然你可能也需要为一些临时表等对象预留,但是这个数目已经足够大啦。

那么mysql什么时候释放这些表对象呢?

  1. 当缓冲已满,而连接想要打开一个不在缓冲中的表时。
  2. 当缓冲数目已经超过了table_open_cache设置的值,mysql开始使用LRU算法释放表对象。
  3. 当你用flush tables;语句时。
  • open_files_limit

引擎层参数。

这个参数表示mysqld可用的最大文件描述符数目,如果你遇到“Too many open files”的错误,应当考虑加大它。这个参数的默认值是0表示无限制(大于5.6.7后默认值不再为0,参考官网),但其实他的值是与操作系统相关的,在Unix系统下这个值的数目不能大于ulimit -n。

这个参数应当大于等于table_open_cache。

目前不清楚当设置了innodb_open_files后此参数是指所有存储引擎的句柄数限制,还是非innodb的句柄数限制,需要研究源码才可以理清,这里暂且认为是前者。

  • innodb_open_files

引擎层参数。

这个参数只对InnoDB存储引擎有效,它指定了mysql可以同时打开的最大.ibd文件的数目。这个参数即不影响table_open_cache也不受open_files_limit影响,是独立的只对InnoDB有效的。所以在默认为InnoDB存储引擎时可以不考虑open_files_limit只去设innodb_open_files。

 

这3个参数的关系可以总结如下,为保证性能,你应当设置为如下值:

max_connections*你的表数目 = table_open_cache <=open_files_limit< ulimit -n

innodb_open_files<ulimit -n

 

二、本文涉及到的status参数有2个:open_tables和opened_tables

其中open_tables表示当前打开的table总和,即所有connection打开的table总数。

opened_tables表示打开过的表的数量总和,只有show global status才能看到它的值。这是个计数器,Opened_tables/Uptime的值过大说明table_open_cache过小,导致一些table对象(即下文说的table对象)经常会刷出server层,需要的时候再创建,最终导致此计数过大。

MySQL open_tables和opened_tables MySQL open_tables和opened_tables

 

三、相关原理图

参考:http://www.cnblogs.com/xpchild/p/3780625.html的源码解析,以innodb为例。

如下图,有个表叫xpchild(小屁孩666)库中的pp表:

MySQL open_tables和opened_tables

table: 针对每个会话,MySQL会为join查询中涉及的每个表建一个TABLE对象,引用innodb表时会创建innodb层的handler,server层的table对象指向此handler,此handler操作文件系统底层的ibd文件。

table_share: 初次被访问时,MySQL为每一张表建立一个table_share对象,与engine层的dict_table_t中的对应表对应,这些table_share对象共同组成server层的一个table cache。

handler: 在Innodb engine层对应于每个TABLE对象,引擎创建一个或多个handler(windows叫handlers,linux叫file descriptors),当然不同存储引擎、是否分区都会影响单个table对象对应的handler个数。

dict_table_t: innodb为每一个innodb表load一个数据字典对象,这些对象的集合就是innodb中的data dictionary。

你可以将table对象看做表在server层的映射,将handler看做table对象为操作底层数据文件等磁盘文件而在engine层创建的句柄,也因此MySQL支持各种插入式engine。

flush tables with read lock:close了server层创建的所有的table_share对象(即清除了table cache),并使用一个全局的读锁锁定所有schema下的所有表。

关于flush的各种用法及解释,参考:https://dev.mysql.com/doc/refman/5.7/en/flush.html