[JSC] Respect shouldNegate() on WasmRefTypeCheckValue nodes in OMG
CVE: CVE-2026-86922 · Safari 27 · Released September 14, 2026 Impact: 악의적으로 조작된 웹 콘텐츠를 처리하면 arbitrary code execution으로 이어질 수 있습니다 Apple's description: 상태 관리를 개선하여 type confusion 문제가 수정되었습니다. Credit: Nathaniel Oh (@calysteon), Kwak Kiyong / kakaogames
High. negation flag가 누락되면서 br_on_cast_fail의 branch 방향이 뒤집힙니다. 그 결과 OMG 코드는 target type이 아닌 struct를 가진 채 "cast 성공" 경로로 진입합니다. 확장되려면 실제 객체에 없는 field를 건드리는 fallthrough 코드가 필요합니다. 다만 Wasm validation은 조작된 module이 이런 코드를 포함하는 것을 허용합니다.
WebAssembly GC proposal이 도입되면서 module은 타입이 지정된 heap struct를 다룰 수 있게 되었습니다. JavaScriptCore의 최적화 Wasm tier인 OMG는 이 static type을 충분히 신뢰합니다. 그래서 field 접근을 고정 offset의 load/store로 컴파일합니다.
OMG는 reference type test를 lowering할 때 B3 IR에 WasmRefTypeCheckValue 노드를 생성합니다. 이때 operand의 정확한 runtime type을 컴파일 시점에 알 수 있으면, B3의 ReduceStrength phase가 이 test를 상수로 fold할 수 있습니다. 이런 fold가 안전하려면 생성되는 상수가 dynamic check의 결과와 정확히 같아야 합니다. 여기에는 노드의 shouldNegate() polarity flag도 포함됩니다. 이 flag는 "subtype이다"라는 판정을 "subtype이 아니다"로 뒤집습니다.
관전 포인트: 조작된 Wasm GC module로 최적화된 코드를 cast 성공 경로로 유도할 수 있습니다. 이때 넘어가는 객체는 잘못된 struct type이므로, 해당 객체를 기준으로 타입이 어긋난 field 접근이 가능한 상황이 만들어집니다.
Source/JavaScriptCore/b3/B3ReduceStrength.cpp
JSTests/wasm/gc/br_on_cast_fail.js
Patch Details
이 commit은 ReduceStrength 안의 WasmRefTypeCheckValue folding 규칙 두 개를 수정했습니다. 두 규칙은 모두 한 가지 형태에서만 동작합니다. 검사 대상 reference가 WasmStructNew에서 직접 넘어오는 경우입니다. 이때는 객체의 정확한 RTT를 컴파일 시점에 알 수 있으므로, rtt->isSubRTT(*targetRTT)로 cast->targetRTT()와 비교할 수 있습니다. 또한 두 규칙 모두 !Wasm::typeIndexIsType(...) 분기 안에 있습니다. 즉 target heap type이 abstract heap type이 아니라 구체적인 type index인 경우에 해당합니다.
Ref-test fold (실제 수정). 두 번째 hunk는 ref test를 정수 상수로 fold합니다. 패치 이전에는 m_proc.addIntConstant(m_value, !!rtt->isSubRTT(*targetRTT))를 생성했습니다. 즉 subtype 판정 결과를 그대로 사용했고, cast->shouldNegate()는 전혀 참조하지 않았습니다. 패치 이후에는 isSubtype을 한 번 계산한 뒤 cast->shouldNegate() ? !isSubtype : isSubtype을 생성하도록 변경되었습니다. 그 결과 negated test도 올바른 polarity로 fold됩니다.
Ref-cast fold (방어적 변경). 첫 번째 hunk는 subtype 관계가 성립할 때 ref cast를 operand인 structNew로 대체합니다(replaceWithIdentity(structNew)). 여기에 ASSERT(!cast->shouldNegate())와 함께, shouldNegate는 WasmRefTest에만 설정될 수 있다는 주석이 추가되었습니다. runtime 동작은 달라지지 않습니다. 다만 negation은 test 형태에만 붙는다는 invariant를 명시했습니다. 따라서 negated cast가 이 규칙에 도달한다면 lowering 쪽 버그로 간주됩니다.
Regression test. JSTests/wasm/gc/br_on_cast_fail.js는 서로 무관한 두 struct type으로 구성된 recursive type group을 정의합니다. Type 0은 i32 field 하나를 갖습니다. Type 1은 i32 field 뒤에 i64 field 두 개가 이어집니다. export된 두 함수는 각각 새로 생성한 struct에 대해 (ref 1)을 대상으로 br_on_cast_fail을 실행합니다.
-
fail은 type-0 struct를 생성합니다. cast는 실패해야 하고 branch가 수행되어야 하며, 함수는 1을 반환합니다. -
pass는 type-1 struct를 생성합니다. cast는 성공해야 하고 실행이 fallthrough되어야 하며, 함수는 1을 반환합니다.
200,000회 반복 loop는 두 함수를 OMG로 tier-up시키기 위한 것입니다. 마지막 검사에서는 둘 중 하나라도 0을 반환하면 실패합니다. 0은 각 함수가 잘못된 경로를 탔을 때 반환하는 값입니다.
Background
WebAssembly GC struct와 RTT.
WebAssembly GC proposal은 타입이 선언된 field를 갖는 heap 할당 struct type을 추가했습니다. 각 struct type에는 runtime type descriptor(RTT)가 있습니다. RTT는 해당 type이 module에 선언된 subtype 계층에서 어디에 위치하는지 기록합니다. isSubRTT는 한 RTT가 다른 RTT의 subtype인지 판정합니다.
br_on_cast_fail.
br_on_cast_fail label rt1 rt2는 operand reference가 rt2 type인지 검사합니다. 검사가 실패하면 값을 rt1 type으로 들고 label로 branch합니다. 반대로 검사가 성공하면 fallthrough하며, validator는 stack에 남은 값을 rt2 type으로 간주합니다. 결과적으로 두 successor는 같은 reference를 서로 다른 static type으로 보게 됩니다.
Static type과 생략되는 검사.
Wasm validation은 코드가 실행되기 전에 static type을 보장합니다. 컴파일된 코드는 이 보장에 의존할 수 있습니다. 그래서 구체적인 struct type으로 정적 타입이 지정된 값에 대한 struct.get/struct.set은 runtime RTT 검사 없이 고정 offset으로 field에 접근합니다.
JSC의 Wasm tier. JavaScriptCore는 Wasm을 여러 tier로 나누어 컴파일합니다. BBQ는 baseline compiler입니다. OMG는 최적화 compiler로, Wasm을 JSC의 저수준 SSA IR인 B3로 lowering합니다. 자주 실행되는 함수는 BBQ에서 OMG로 tier-up됩니다.
ReduceStrength.
ReduceStrength는 constant folding, canonicalization, peephole 단순화를 수행하는 B3 phase입니다. 더 이상 변화가 없을 때까지 반복 실행됩니다. 각 규칙은 값과 operand를 pattern-matching한 뒤, 더 단순한 값으로 대체하거나(replaceWithNewValue, replaceWithIdentity) 그대로 둡니다.
WasmRefTypeCheckValue.
이 B3 value class는 Wasm reference type 검사를 두 가지 형태로 표현합니다. test 형태는 0/1 정수를 생성합니다. cast 형태는 reference 자체를 생성하거나 trap합니다. 두 형태 모두 target heap type(targetHeapType())과 RTT(targetRTT())를 가지며, test 결과를 뒤집는 shouldNegate() flag도 함께 갖습니다.
WasmStructNew.
WasmStructNew는 struct를 할당하는 B3 value입니다. RTT가 정적으로 알려져 있으므로, strength reduction 단계에서 새로 할당된 객체의 subtype 여부를 컴파일 시점에 판정할 수 있습니다.
Analysis
predicate 노드를 상수로 fold하는 과정에서, negated 노드에 대해 negation이 적용되지 않은 결과가 계산되었습니다. 컴파일러 최적화의 logic error로 시작했지만, 결과적으로 Wasm GC type confusion으로 이어지는 버그입니다.
fail(): struct.new 0 ──► br_on_cast_fail 0 (ref struct) (ref 1)
RTT = type 0 OMG: WasmRefTest(target=type 1, shouldNegate=true)
Before fix (OMG): After fix (OMG):
isSubRTT(type0, type1) = false isSubtype = false
fold → const 0 (negate ignored) fold → const !false = 1
└─► branch NOT taken └─► branch taken → @1
└─► fallthrough: value value at (ref struct) ✓
typed (ref 1) ✗ type-0 obj
BBQ / un-folded path: dynamic test, correct polarity either way
버그의 전부는 다이어그램 왼쪽 열에 담겨 있습니다. OMG는 br_on_cast_fail을 negated WasmRefTest로 표현합니다. branch 조건이 "cast 실패"이므로, operand가 target의 subtype이 아닐 때 노드의 결과가 1이어야 합니다. commit message, test 이름, 새 ASSERT 주석("shouldNegate can only be set on WasmRefTest")이 모두 이 lowering 방식을 가리킵니다.
fail에서는 operand가 struct.new 0에서 바로 넘어옵니다. 그래서 ReduceStrength는 구체적인 target을 가진 WasmStructNew operand를 보고 fold를 수행합니다. 이때 isSubRTT(type0, type1)은 false입니다. negated 노드라면 올바른 fold 결과는 !false = 1입니다. 그런데 패치 이전 규칙은 isSubtype 값을 그대로 사용해 0을 생성했습니다. 결과적으로 branch가 수행되지 않고, 실행은 성공 쪽 successor로 fallthrough됩니다.
위험한 쪽은 fallthrough 경로입니다. Wasm type system에서 이 경로가 갖는 의미 때문입니다. validator는 이미 fallthrough edge 위의 값을 target type인 (ref 1)로 간주했고, 이 type은 field가 세 개입니다. 하지만 실제로 register에 들어 있는 객체는 i32 field 하나뿐인 type-0 struct입니다.
OMG는 validation을 통과한 static type을 신뢰합니다. 그래서 구체적으로 타입이 지정된 reference에 대한 struct.get/struct.set에서 runtime RTT 검사를 생성하지 않습니다. 따라서 이 경로에서 field에 접근하면 type 1 정의에 맞춘 layout으로 접근하게 되지만, 그 아래 storage는 type 0의 것입니다. regression test에서는 값을 곧바로 drop하므로, 관찰되는 증상은 fail()이 1 대신 0을 반환하는 것뿐입니다. 반면 조작된 module에는 Wasm validation이 그런 제약을 두지 않습니다. fallthrough 코드는 type-0 객체에 존재하지 않는 i64 field를 자유롭게 struct.get 또는 struct.set할 수 있습니다.
반대 방향은 pass 함수이며, 이쪽 실패는 무해합니다. (ref 1)에 대해 검사한 type-1 struct는 subtype이므로, 잘못된 fold는 1을 생성했습니다. 그래서 negated branch가 잘못 수행되었고, 값은 더 약한 type인 (ref struct)로 label에 전달되었습니다. 함수가 틀린 값을 반환하므로 correctness 버그에는 해당합니다. 다만 (ref struct) 위의 코드는 구체적인 field layout을 가정할 수 없으므로 memory safety 문제는 아닙니다. 즉 두 방향은 비대칭입니다. 결과가 뒤집혀 객체가 validator가 더 강한 type을 부여한 successor로 이동할 때만 memory unsafety가 발생합니다.
regression test가 실행하는 trigger 순서는 다음과 같습니다.
- 두 struct type을 선언합니다. 이때 target type(type 1)은 할당되는 type(type 0)보다 엄격히 크고, type 0의 supertype도 아니어야 합니다.
- 함수 안에서
struct.new 0으로 할당한 결과를br_on_cast_fail ... (ref struct) (ref 1)에 직접 전달합니다. 그러면 negated test의 B3 operand가WasmStructNew자체가 됩니다. - 함수를 충분히 여러 번 호출해(test에서는 200,000회) BBQ에서 OMG로 tier-up시킵니다.
ReduceStrength는 OMG에서 실행됩니다. - OMG 코드에서 negated test가
0으로 fold됩니다. branch는 fallthrough되고, type-0 객체가(ref 1)로 정적 타입이 지정된 경로에 도달합니다. - 이 경로에서 type 1 layout으로 field에 접근하는 순간이 type confusion입니다. test는 잘못된 반환값을 관찰하는 단계에서 멈춥니다.
tier-up 조건이 필요한 만큼, 함수를 충분히 반복 실행하지 않는 테스트로는 이 버그가 드러나지 않습니다. BBQ는 이 ReduceStrength fold를 실행하지 않으므로, baseline 코드는 올바른 polarity로 dynamic test를 수행합니다. 결과가 뒤집히는 것은 OMG로 컴파일된 body뿐입니다. 한편 WasmStructNew에 직접 ref test를 거는 fold의 형태는 매우 좁습니다. compiler가 생성하거나 사람이 직접 작성한 Wasm에서는 드물지만, 조작된 module에서는 간단히 만들 수 있습니다.
공격자가 제공한 Wasm GC module을 통해 웹 콘텐츠에서 이 버그에 도달할 수 있습니다. 단, 대상 함수가 OMG로 tier-up된 이후여야 합니다. 뒤집힌 fold는 diff에 직접 드러납니다. regression test 역시 non-subtype 객체에 대해 성공 경로 fallthrough가 수행되는 상황을 보여줍니다. 이때 validator가 부여한 type은 더 큰 target struct입니다.
직접적인 영향은 잘못된 control flow입니다. fallthrough 코드가 target type에만 있는 추가 field에 접근한다고 가정할 수 있습니다. 이 경우 WebContent process 안에서 Wasm GC struct storage에 대한 relative out-of-bounds 접근이나 타입이 어긋난 접근으로 이어질 가능성이 있습니다. 이 primitive의 상한은 relative read/write입니다. 범위는 target struct의 field layout과 실제 객체 layout 사이의 크기 차이로 제한되며, 두 정의가 어긋나는 위치에서는 field 종류 혼동도 함께 발생합니다.
target type이 reference 타입 field를 선언한 위치에 실제 객체는 정수를 갖고 있거나, 그 반대인 경우도 생각할 수 있습니다. 이 경우 reference/integer confusion으로 이어질 가능성이 있습니다. 다만 이는 공격자가 선택하는 struct 정의에 달려 있습니다. 값을 drop하는 regression test는 이 부분까지 실행하지 않습니다. module bytes를 제어하는 공격자라면 이를 Apple이 밝힌 "arbitrary code execution" 영향의 근거가 되는 memory safety 위반으로 발전시키는 것이 이론적으로 가능합니다. 이 모든 과정은 WebContent sandbox 안에 머뭅니다. renderer 밖으로 영향을 확장하려면 별도의 escape가 필요합니다.
수정은 fold 지점에서 invariant를 복원합니다. 이제 상수는 subtype 관계와 노드의 polarity를 모두 반영합니다. 그래서 fail은 1로 fold되어 branch를 수행하고, type-0 객체는 이를 (ref struct)로 보는 코드에만 도달합니다.
ref-cast hunk는 다른 방식을 택했습니다. cast fold가 polarity를 고려하도록 만든 것이 아니라, cast 형태는 negate되지 않는다는 점을 assert로 확인할 뿐입니다. 이 assertion은 debug build에서만 보호 효과가 있습니다. 향후 lowering이 cast에 shouldNegate를 설정하게 된다면 문제가 다시 생깁니다. release build에서는 polarity 검사가 전혀 없는 상태로, 해당 fold에 조용한 불일치가 다시 들어오게 됩니다.
컴파일 시점 fold에서 polarity flag 하나가 누락되면서, validator가 이미 type 1을 보장한 경로에 type-0 struct가 놓였고, OMG는 field offset 계산에서 그 보장을 그대로 신뢰합니다.
Insight
Takeaway: flag를 가진 IR 노드를 재작성할 때는 결과가 모든 flag를 반영해야 합니다. 각 fold와 CSE key에서 targetRTT()/targetHeapType()를 읽으면서 shouldNegate()는 참조하지 않는 지점을 검색해 볼 필요가 있습니다. 이런 지점이 발견되면, flag가 설정되지 않은 것처럼 결과를 계산하는 fold에 해당합니다.
Audit directions
-
같은 노드에 붙은 modifier flag는 무시한 채 주요 semantics만 읽는 rewrite rule. flag가 붙은 노드를 fold할 때는 opcode와 operand만 봐서는 안 되고, 모든 flag를 함께 반영해야 합니다. 이것이 지켜져야 할 invariant입니다. Narrow:
B3ReduceStrength.cpp,B3PureCSE/B3ValueKey를 비롯한 B3 phase 전반에서WasmRefTypeCheckValue가 사용되는 지점을 모두 검색합니다. 이어서 각 호출 지점이shouldNegate()와 nullability(allowNull계열 accessor)를 함께 읽는지 확인해야 합니다.ValueKeyhashing이 negated test와 non-negated test를 구분하는지도 살펴볼 필요가 있습니다.targetRTT()/targetHeapType()만 읽고shouldNegate()는 읽지 않는 fold나 CSE key가 있다면 이 패턴에 해당합니다. Wider: 같은 형태는 mode flag를 가진 DFG/FTL 노드(array mode,ArithMode,ClobberizeMode)에서도 나타납니다.signed/fencekind를 가진 B3 memory value 역시 마찬가지입니다. 이 경우에는 opcode 기준으로 switch하는 fold 중 결과가 노드의 flag accessor에 의존하지 않는 지점이 점검 대상입니다. Widest: predicate 반전이나 variant 동작을 별도 opcode가 아닌 flag로 표현하는 compiler IR이라면 모두 대상이 됩니다. LLVM의icmppredicate나 InstCombine 과정에서 누락되는nsw/nuwflag가 대표적입니다. operator parameter를 가진 Cranelift 또는 V8 Turbofan 노드도 같은 범주에 속합니다. 결국 계속 확인해야 할 질문은 하나입니다. 이 opcode에 매칭되는 peephole이 그 parameter까지 함께 매칭하거나 보존하는가 하는 점입니다. -
입력보다 좁은 fallthrough 또는 result type을 갖는 모든 Wasm GC instruction의 control-flow polarity:
br_on_cast,br_on_cast_fail,ref.cast,ref.as_non_null,br_on_null/br_on_non_null. 여기서 다루는 class는 polarity 오류입니다. 즉 validator가 더 강한 type을 부여한 successor로 프로그램이 잘못 진입하는 경우를 말합니다. Narrow: OMG IR generation이 이 opcode들에 대해WasmRefTypeCheckValue를 어떻게 구성하는지 추적합니다. 그 결과가 어느 branch에서 사용되는지도 함께 확인해야 합니다. "taken" edge가 negated test에 대응하는데 downstream fold가 이를 고려하지 않는 lowering이 있다면 이 패턴에 해당합니다. Wider: 동일한 module에 대해 BBQ와 OMG 결과를 비교하는 differential tier testing을 수행합니다. cast-branch opcode에서 두 tier의 결과가 갈린다면 모두 후보로 볼 수 있습니다. Widest: typed bytecode VM 전반이 대상입니다(C2나 Graal의 JVMcheckcast/instanceoffolding, .NET RyuJIT의 cast elimination). 이런 환경에서 type-test branch가 반전되면 type confusion으로 이어집니다. verifier가 각 successor에 서로 다른 type을 부여하기 때문입니다. 따라서 cast-elimination pass에서 어느 successor가 좁혀진 type을 물려받는지 점검할 필요가 있습니다. -
정적으로 알려진 allocation site를 신뢰하는 compile-time subtype shortcut. 두 hunk 모두에서 사용된
WasmStructNewRTT shortcut이 대표적인 사례입니다. fold가 dynamic check를 대체하려면 해당 check의 결과 전체를 재현해야 합니다. 여기에는 반전, null 처리,typeIndexIsTypeabstract-heap-type branch까지 포함됩니다. 이것이 지켜져야 할 invariant입니다. Narrow: 이 hunk 주변의typeIndexIsType/ abstract-heap-type 경로를 살펴봅니다.WasmArrayNew에 대응하는 코드가 있다면 그 부분도 함께 확인해야 합니다. concrete target과 abstract target 분기 중 한쪽만 처리하는 fold가 있다면 이 패턴에 해당합니다. null/non-null target을 전혀 고려하지 않는 fold도 마찬가지입니다. Wider: allocation 노드를 근거로 type query에 답하는 JIT의 allocation-sinking 또는 escape-analysis pass 전반이 대상입니다(DFGNewObjectstructure folding, FTL allocation sinking). type query fold의 답이 allocation에서 나오고, query 노드의 parameter 전체로부터 다시 도출되지 않는다면 이 패턴에 해당합니다. Widest: "allocation site로부터의 증명"에 기반한 최적화라면 query를 정확하게 모델링해야 합니다. 같은 class는 Graal의 partial escape analysis에서도 나타납니다. 새로 allocate된 객체에 대한 V8 Turbofan의CheckMapselimination 역시 같은 범주에 속합니다.