Java内存模型-工作内存、主内存、原子性、有序性、可见性、volatile、synchronized

一、概念

  1. Java Memory Model,简称 JMM
  2. Java虚拟机规范的一部分
  3. 为了解决并发问题

二、背景

程序,就是指令与数据的集合,指令由处理器执行,指令对象为内存中的数据

数据在处理器和内存之间的交互图
Java内存模型-工作内存、主内存、原子性、有序性、可见性、volatile、synchronized

2.1 高速缓存

处理器的运算速度比主内存的读写速度要快得多(几个数量级),如果处理器直接与主内存交互,那处理器在访问内存时就要花很长时间来等待内存的操作,所以在处理器与主内存之间加上高速缓存作为缓冲,减少处理器的等待时间。

将运算需要用到的数据复制到缓存中,让运算能快速进行,当运算结束后再从缓存同步回主内存中,这样处理器就无需等待缓慢的内存读写了。

2.1 缓存一致性

基于高速缓存的存储交互很好地解决了处理器与内存的速度矛盾,但是也为计算系统带来更高的复杂度,因为它引入了一个新的问题:缓存一致性(Cache Coherence)。

当多个处理器的运算任务都涉及同一块主内存区域时,将可能导致各自的缓存数据不一致,如果真的发生这种情况,那同步回到主内存时以谁的缓存数据为准呢?

所以,高速缓存与主内存之间的交互,需要遵循一些协议,这些协议就是为了解决缓存一致性而存在的

多线程安全问题

2.3 乱序执行

为了使得处理器内部的运算单元尽量被充分利用,处理器可能会对输入代码进行乱序执行(Out-Of-Order Execution)优化,处理器会在计算之后将乱序执行的结果重组,保证该结果与顺序执行的结果是一致的,并不保证程序中各个语句计算的先后顺序与输入代码中的顺序一致。

Java虚拟机的即时编译器中也有类似的指令重排序优化

2.4 引入Java内存模型

Java虚拟机规范中试图定义一种Java内存模型,来屏蔽各种硬件和操作系统的内存访问差异,以实现让Java程序在各种平台下都能达到一致的内存访问效果。

平台开关性,同一套代码不能在一个平台上线程安全,在另一个平台上就出问题

三、Java内存模型

Java内存模型的主要目标是定义程序中各个变量的访问规则,即在虚拟机中将变量存储到内存和从内存中取出变量这样的底层细节。

此处的变量(Variables)与Java编程中所说的变量有所区别,它包括了实例字段、静态字段和构成数组对象的元素,但不包括局部变量与方法参数(如果局部变量是一个reference类型,它引用的对象在Java堆中可被各个线程共享,但是reference本身在Java栈的局部变量表中,它是线程私有的)

主内存与工作内存之间具体的交互协议,即一个变量如何从主内存拷贝到工作内存、如何从工作内存同步回主内存之类的实现细节

3.1 主内存与工作内存

Java内存模型还定义了主内存、工作内存,线程间变量值的传递均需要通过主内存来完成

Java内存模型-工作内存、主内存、原子性、有序性、可见性、volatile、synchronized

  1. 主内存类比物理机的主内存,是虚拟机内存中存储共享变量的区域
  2. 工作内存类比物理机的高速缓存,保存了被该线程使用到的变量的主内存的副本拷贝
  3. JMM比物理机的缓存一致性

注意:

  1. 主内存与工作内存,是一个抽象的概念,并不真实存在
  2. 这里所讲的主内存、工作内存与Java内存区域中的Java堆、栈、方法区等并不是同一个层次的内存划分
  3. 勉强对应的话
    1. 主内存主要对应于Java堆中的对象实例数据部分
    2. 工作内存则对应于虚拟机栈中的部分区域
  4. 从更低层次上说
    1. 主内存直接对应于物理硬件的内存
    2. 为了获取更好的运行速度,虚拟机(甚至是硬件每户本身的优化措施)可能会让工作内存优先存储于寄存器和高速缓存中,因为程序运行时访问读写的是工作内存

为了获得较好的执行效能,Java内存模型并没有限制执行引擎使用处理器的特定寄存器或缓存来和主内存进行交互,也没有限制即时编译器进行调整代码执行顺序这类优化措施

总的来说,虚拟机把运行内存、物理内存(文件)、堆、方法区等存储共享数据的地方,抽象成主内存;把寄存器、高速缓存、栈等存储私有数据的地方,抽象成工作内存。

3.2 内存间交互操作

Java内存模型定义了8种操作,来实现主内存和工作内存之间的交互,即一个变量如何从主内存拷贝到工作内存、如何从工作内存同步回主内存之类的实现细节。

这8种操作,虚拟机实现时,必须保证都是原子的,不可再分的。

double、long类型在某些平台上允许有例外

3.2.1 8种操作

  1. lock(锁定):作用于主内存的变量,它把一个变量标识为一个线程独占的状态。只有遇到特定指令时,才会对变量进行lock操作

字节码指令为monitorenter,对应的Java关键字为synchronized

  1. unlock(解锁):作用于主内存的变量,它把一个处于锁定状态的变量释放出来,释放后的变量才可以被其他线程锁定。
  2. read(读取):作用于主内存的变量,它把一个变量的值从主内存传输到线程的工作内存中,以便随后的load动作使用。
  3. load(载入):作用于工作内存的变量,它把read操作从主内存中得到的变量值放入工作内存的变量副本中。
  4. use(使用):作用于工作内存的变量,它把工作内存中一个变量的值传递给执行引擎,每当虚拟机遇到一个需要使用到变量的值的字节码指令时将会执行这个操作。
  5. assign(赋值):作用于工作内存的变量,它把一个从执行引擎接收到的值赋给工作内存的变量,每当虚拟机遇到一个给变量赋值的字节码指令时执行这个操作。
  6. store(存储):作用于工作内存的变量,它把工作内存中一个变量的值传送到主内存中,以便随后的write操作使用。
  7. write(写入):作用于主内存的变量,它把store操作从工作内存中得到的变量的值放入主内存的变量中。

3.2.2 执行规则

  1. 不允许read和load、store和write操作之一单独出现,即允许一个变量从主内存读取了但工作内存不接受,或者从工作内存发起回写了但主内存不接受的情况出现。
  2. 不允许一个线程丢弃它的最近的assign操作,即变量在工作内存中改变了之后必须把该变化同步回主内存。
  3. 不允许一个线程无原因地(没有发生过任何assign操作)把数据从线程的工作内存同步回主内存中。
  4. 一个新的变量只能在主内存中“诞生”,不允许在工作内存中直接使用一个未被初始化(load或assign)的变量,换句话说,就是对一个变量实施use、store操作之前,必须先执行过了assign和load操作。
  5. 一个变量在同一个时刻只允许一条线程对其进行lock操作,但lock操作可以被同一条线程重复执行多次,多次执行lock后,只有执行相同次数的unlock操作,变量才会被解锁。
  6. 如果对一个变量执行lock操作,那将会清空工作内存中此变量的值,在执行引擎使用这个变量前,需要重新执行load或assign操作初始化变量的值。
  7. 如果一个变量事先没有被lock操作锁定,那就不允许对它执行unlock操作,好不允许unlock一个被其他线程锁定住的变量。
  8. 对一个变量执行unlock操作之前,必须先把此变量同步回主内存中(执行store、write操作)。

3.3 多线程三大特征

多线程安全问题产生的根本原因?

下面三个特征,有一个不符合,就有可能出现多线程安全问题

  1. 原子性
  2. 可见性
  3. 有序性

Java内存模型是围绕着在并发过程中如何处理原子性、可见性和有序性这3个特征来建立的。

只要代码保证了这三个特征,就是线程安全的

3.3.1 原子性(Atomicity)

原子性的一般定义为:一个或多个操作,要么都执行成功,要么都不执行。

在多线程中,原子性,就是代码在被一个线程在执行时,排斥其它线程。

由Java内存模型来直接保证的原子性变量操作包括read、load、assign、use、store、和write,我们大致可以认为基本数据类型的访问读写是具备原子性的(long和double有非原子性协定,但无须太过在意这些几乎不会发生的例外情况)。

如果应用场景需要一个更大范围的原子性保证,Java内存模型还提供了lock和unlock操作来满足这种需求,尽管虚拟机未把lock和unlock操作直接开放给用户使用,但是却提供了更高层次的字节码指令monitorenter和monitorexit来隐式地使用这两个操作,这两个字节码指令反映到Java代码中就是同步块——synchronized关键字,因此在synchronized块之间的操作也具备原子性。

Java语言提供synchronized保证原子性

3.3.2 可见性(Visibility)

可见性是指当一个线程修改了共享变量的值,其他线程能够立即得知这个修改。

Java内存模型是通过在变量修改后将新值同步回主内存,在变量读取前从主内存刷新变量值这种依赖主内存作为传递媒介的方式来实现可见性的,无论是普通变量还是volatile变量都是如此,普通变量与volatile变量的区别是,volatile的特殊规则保证了新值能立即同步到主内存,以及每次使用前立即从主内存刷新。因此,可以说volatile保证了多线程操作时变量的可见性,而普通变量则不能保证这一点。

Java语言提供volatile、synchronized保证可见性

synchronized怎么保证可见性?

public class VolatileTest2 {

    private static int number = 0;

    private static class ReaderThread extends Thread {
        @Override
        public void run() {
            if (number == 0) {
                System.out.println("synchronized外,线程" + Thread.currentThread().getName() + ",number = " + number);
                Thread.yield();
                synchronized (VolatileTest2.class) {
                    System.out.println("synchronized内,线程" + Thread.currentThread().getName() + ",number = " + number);
                    if (number == 0) {
                        number = 1;
                        System.out.println("synchronized内,线程" + Thread.currentThread().getName() + ",修改number,number = " + number);
                        Thread.yield();
                    }
                }
            }
        }
    }

    public static void main(String[] args) {
        new ReaderThread().start();
        new ReaderThread().start();
    }
}

输出

synchronized外,线程Thread-0,number = 0
synchronized内,线程Thread-0,number = 0
synchronized内,线程Thread-0,修改number,number = 1
synchronized外,线程Thread-1,number = 0
synchronized内,线程Thread-1,number = 1

synchronized怎么保证可见性?

  1. 线程加锁时,将清空工作内存*享变量的值,从而使用共享变量时需要从主内存中重新获取最新的值
  2. 线程解锁前,必须把共享变量的最新值刷新到主内存中

注意:这里清空的工作内存,是本线程的工作内存,其它线程的工作内存不会被清空

结论:synchronized保证的是同一个块内的共享变量的可见性,其在块外的可见性不会被保证

3.3.3 有序性(Ordering)

有序性:程序执行的顺序按照代码的先后顺序执行,禁止进行指令重排序。

指令重排序是JVM为了优化指令,提高程序运行效率,在不影响单线程程序执行结果的前提下,尽可能地提高并行度。

就是说,对没有依赖关系的指令,进行重排序。

int a = 1; // 1
int b = a + 1; // 2
int c = 2; // 3

在这个例子中,3与1,3与2都没有依赖关系,所以3可以先执行,也可以在中间执行,还可以在最后执行;而1与2有依赖关系,2只能在1执行后再执行

前面说了,JVM只保证在单线程内是没问题的,所以在多线程环境下,如果重排序,就可能出现问题(下面通过单例模式举例)。

Java语言提供volatile、synchronized保证有序性

final变量也可以保证有序性

是不是使用synchronized,线程就一定安全?

单例模式

public class SingletonClass4 {

    private static SingletonClass4 instance;

    private SingletonClass4() {
    }

    public static SingletonClass4 getInstance() {
        if (instance == null) {
            synchronized (SingletonClass4.class) {
                if (instance == null) {
                    instance = new SingletonClass4(); // 1
                }
            }
        }
        return instance;
    }
}

注意:一行代码可能转换成多个字节码指令,一个字节码指令,也可能转化成多条本地机器码指令

  1. 这种双重检测机制是有问题的,问题出在//1,由所谓的无序写入造成的。一般来讲,当初始化一个对象的时候,会经历内存分配、初始化、返回对象在堆上的引用等一系列操作,这种方式产生的对象是一个完整的对象,可以正常使用。但是JAVA的无序写入可能会造成顺序的颠倒,即内存分配、返回对象引用、初始化的顺序,这种情况下对应到//1就是singleton已经不是null,而是指向了堆上的一个对象,但是该对象却还没有完成初始化动作。当后续的线程发现singleton不是null而直接使用的时候,就会出现意料之外的问题。
  2. JDK1.5之后,可以使用volatile关键字修饰变量来解决无序写入产生的问题,因为volatile关键字的一个重要作用是禁止指令重排序,即保证不会出现内存分配、返回对象引用、初始化这样的顺序,从而使得双重检测真正发挥作用。

synchronized怎么保证有序性的?

synchronized是通过排斥其它线程,实现的排队执行synchronized代码块的有序性,但是,它并不能保证块内代码执行的有序性。换句话说,synchronized保证的是整体的有序性,不保证内部的有序性。

3.4 先行发生原则

注意:代码先不一定就先行发生

先行发生原则是判断数据是否存在竞争、线程是否安全的主要依据。

先行发生是Java内存模型中定义的两项操作之间的偏序关系,如果说操作A先行发生于操作B,其它就是说在发生操作B之前,操作A产生的影响能被操作B观察到,“影响”包括修改了内存*享变量的值、发送了消息、调用了方法等。

如果代码符合以下规则之一,就是天然的具备有序性

  1. 程序次序规则(Program Order Rule):在一个线程内,按照程序代码顺序,书写在前面的操作先行发生于书写在后面的操作。准确地说,应该是控制流顺序而不是程序代码顺序,因为要考虑分支、循环等结构。
  2. 管程锁定规则(Monitor Lock Rule):一个unlock操作先行发生于后面对同一个锁的lock操作。这里必须强调的是同一个锁,面“后面”是指时间上的先后顺序。
  3. 对一个volatile变量的写操作先行发生于后面对这个变量的读操作,这里的“后面”同样是指时间上的先后顺序。
  4. 线程启动规则(Thrad Start Rule):Thread对象的start()方法先行发生于此线程的每一个动作。
  5. 线程终止规则(Thread Termination Rule):线程中的所有操作都先行发生于对此线程的终止检测,我们可以通过Thread.join()方法结束、Thread.isAlive()的返回值等手段检测到线程已经终止执行。
  6. 线程中断规则(Thread Interruption Rule):对线程interrupt()方法的调用先行发生于被中断线程的代码检测到中断事件的发生,可以通过Thread.interrupted()方法检测到是否有中断发生。
  7. 对象终结规则(Finalizer Rule):一个对象的初始化完成(构造函数执行结束)先行发生于它的finalize()方法的开始。
  8. 传递性(Transitivity):如果操作A先行发生于操作B,操作B先行发生于操作C,那就可以得出操作A先行发生于操作C的结论。

3.5 volatile关键字

volatile可以保证可见性、有序性(禁止指令重排)

它是Java虚拟机提供的最轻量级的同步机制

  1. volatile怎么保证可见性?

    1. 线程加锁时,将清空工作内存*享变量的值,从而使用共享变量时需要从主内存中重新获取最新的值
    2. 线程解锁前,必须把共享变量的最新值刷新到主内存中
  2. volatile怎么保证有序性?

    1. 加锁lock操作
    2. 解锁unlock操作

但是,基于volatile变量的运算在并发下是安全的,这是错误的(它不保证原子性)

示例代码

public class VolatileTest {

    private static volatile int race = 0;

    private static void increase() {
        race++;
    }

    public static void main(String[] args) throws Exception {
        Thread[] threads = new Thread[20];
        for (int i = 0; i < 20; i++) {
            threads[i] = new Thread(() -> {
                for (int j = 0; j < 10000; j++) {
                    increase();
                }
            });

            threads[i].start();
        }

        for (Thread t : threads) {
            while (t.isAlive()) {
                Thread.sleep(100);
            }
        }
        System.out.println(race);
    }
}

输出

125637

原因?

race++;这句代码,编译成Class文件时,由4个字节码指令构成,分别是getstatic、iconst_1、iadd、putstatic,

  1. getstatic:获取类的静态字段值
  2. iconst_1:将int类型常量值1入栈到操作数栈中(每次+1)
  3. iadd:int类型数据相加
  4. putstatic:设置类的静态字段值

一条字节码指令,并不一定就是一个原子操作,如这里,这4个字节码,需要read、load、use、assign、stroe、write6个Java内存模型定义的原子操作来完成,当然,如果race++;被synchronized修饰,那这4个字节码就是原子操作的一部分了。

从字节码上分析原因:当getstatic指令把race的值取到操作栈顶时,volatile关键字保证了race的值在些时是正确的,但是在执行iconst_1、iadd这些指令的时候,其他线程可能已经把race的值加大了,而在操作栈顶的值就变成了过期的数据,所以putstatic指令执行后就可能把较小的race值同步回主内存之中。

根本原因:变量的操作不是原子操作

解决办法很多,如使用synchronized或java.util.concurrent中的原子类