java 业务层和多线程遇到的坑

需求

把某个网站上或者别的数据库里导出的文件全部导入到自己的数据库里

数据文件和格式已经给出了,不需要关心从哪来,只需要读取到数据库里就行,不能出错,不能时间太长。

 

大致实现

个人思路是先对数据进行分片,按照一定规则(数据数量)进行切分,然后多个线程同时读取往数据库里写,同时彼此控制事务。

 

遇到的问题

数据量少100万以内时没有遇到问题,数据量大的时候分片量大线程数也大。

线程达到了8个,然后服务调取业务层时出现了:第八个线程总是会被无缘无故阻塞。

日志表明8个线程都已经进入调用状态了,但是其他7个线程都已经施行完毕了,第八个线才刚开始执行。

java 业务层和多线程遇到的坑

下面进行了对照实验,三种方式,第一个和第二个仍然会被阻塞,第三个却正常,不是线程池的问题,和service调用有关?这个还是第一次听说,自己系统调接口居然会被无缘无故阻塞。

java 业务层和多线程遇到的坑

 解决

移植到同一个service下面,自己调自己方法,居然就不会被阻塞了,不理解这种情况。。。。。。太诡异了

java 业务层和多线程遇到的坑