每日一问 | Java线程栈的栈溢出（StackOverflowError）是如何检测的？

洋神，你真的好久没搞每日一问了啊……

本回答介绍的是 Android 上 ART 的处理方式。

想要回答这个问题，首先我们需要知道几个预备知识：

1. 在 art 上，方法可能以两种方式被执行：方法被编译成机器码了，直接跳转过去执行；方法没有被编译，跳转到解释器进行执行。
2. ART 上，所谓的 java 方法栈和 native 栈是实现在一起的。

首先可以来看看解释执行的情况，随便点开一个函数：

http://aospxref.com/android-13.0.0_r3/xref/art/runtime/interpreter/interpreter.cc?fi=EnterInterpreterFromInvoke#EnterInterpreterFromInvoke

第一眼就能看见一个 if，如果这个 if 的条件成立就会抛出 StackOverflowError。__builtin_frame_address 是 gcc 内置的获取方法调用信息的函数，这里获取的是“当前函数的栈帧地址”，如果小于某个值就会认为发生栈溢出，抛出 StackOverflowError。为什么是小于？因为栈是向下增长的。

接着看看函数被编译后是怎么检查的。用 cmd package compile -m everything -f 包名 这条命令强制编译，然后把 oat 拿出来，用 oatdump 反汇编看看。随便点开一个函数（因为我刚好在一台 arm 机子上用了 oatdump ，直接复制过来了，所以这里是 Thumb-2 指令集）：

CODE: (code_offset=0x0006e01d size_offset=0x0006e018 size=182)...
      0x0006e01c: f5ad5c00    sub     r12, sp, #8192
      0x0006e020: f8dcc000    ldr.w   r12, [r12, #0]

随便看几个函数，你会发现基本上每个函数的开头都有这几条固定指令。为什么？

这两条指令里，第一条把 sp 寄存器也就是所谓的栈帧指针减去 8192，赋值给了 r12 寄存器；第二条读取了从 r12 寄存器指向的内存的值，赋值给 r12 寄存器。由于栈向下增长，这里 sp - 8192 指向的内存应该没有被实际分配所以无意义，检查后续指令也会发现这个读取到的值根本没有用到，为什么要多此一举呢？

其实这里就是在检查栈有没有溢出。栈是一段连续的内存空间，提前使用 mmap 分配，当栈（快要）溢出的时候，sp - 8192 这个内存地址就会超出这段提前分配的内存空间，接下来尝试访问这个地址指向的内存就会触发段错误，从而导致程序中断执行跳转到 art 提前设置好的 signal handler 中。art 的 signal handler 会检测出这种情况，并抛出 StackOverflowError。http://aospxref.com/android-13.0.0_r3/xref/art/runtime/arch/arm64/fault_handler_arm64.cc#142

楼上回答挺好的，这里再补充JNI场景，当调用一个JNI方法，比如获取methodid 调用，其实就会调用ArtMethod::Invoke方法，这里面在判断是否解释运行之前，也会判断是否触达了当前线程的栈低。其他ArtMethod场景也会判断

void ArtMethod::Invoke(Thread* self, uint32_t* args, uint32_t args_size, JValue* result,
                       const char* shorty) {

    判断当前函数地址是否小于当前线程栈底
  if (UNLIKELY(__builtin_frame_address(0) < self->GetStackEnd())) {
    ThrowStackOverflowError(self);
    return;
  }

 .... 

  Runtime* runtime = Runtime::Current();
  // Call the invoke stub, passing everything as arguments.
  // If the runtime is not yet started or it is required by the debugger, then perform the
  // Invocation by the interpreter, explicitly forcing interpretation over JIT to prevent
  // cycling around the various JIT/Interpreter methods that handle method invocation.
  if (UNLIKELY(!runtime->IsStarted() ||
               (self->IsForceInterpreter() && !IsNative() && !IsProxyMethod() && IsInvokable()))) {
    if (IsStatic()) {
      art::interpreter::EnterInterpreterFromInvoke(
          self, this, nullptr, args, result, /*stay_in_interpreter=*/ true);
    } else {
      mirror::Object* receiver =
          reinterpret_cast<StackReference<mirror::Object>*>(&args[0])->AsMirrorPtr();
      art::interpreter::EnterInterpreterFromInvoke(
          self, this, receiver, args + 1, result, /*stay_in_interpreter=*/ true);
    }
  }