← All reports

[JSC] Respect shouldNegate() on WasmRefTypeCheckValue nodes in OMG

CVE: CVE-2026-86922 · Safari 27 · Released September 14, 2026 Impact: 악의적으로 조작된 웹 콘텐츠를 처리하면 arbitrary code execution으로 이어질 수 있습니다 Apple's description: 상태 관리를 개선하여 type confusion 문제가 수정되었습니다. Credit: Nathaniel Oh (@calysteon), Kwak Kiyong / kakaogames

Severity: High | Component: JavaScriptCore B3 ReduceStrength (OMG Wasm tier, Wasm GC ref-type checks) | af957bf | Bugzilla 308231

High. negation flag가 누락되면서 br_on_cast_fail의 branch 방향이 뒤집힙니다. 그 결과 OMG 코드는 target type이 아닌 struct를 가진 채 "cast 성공" 경로로 진입합니다. 확장되려면 실제 객체에 없는 field를 건드리는 fallthrough 코드가 필요합니다. 다만 Wasm validation은 조작된 module이 이런 코드를 포함하는 것을 허용합니다.

WebAssembly GC proposal이 도입되면서 module은 타입이 지정된 heap struct를 다룰 수 있게 되었습니다. JavaScriptCore의 최적화 Wasm tier인 OMG는 이 static type을 충분히 신뢰합니다. 그래서 field 접근을 고정 offset의 load/store로 컴파일합니다.

OMG는 reference type test를 lowering할 때 B3 IR에 WasmRefTypeCheckValue 노드를 생성합니다. 이때 operand의 정확한 runtime type을 컴파일 시점에 알 수 있으면, B3의 ReduceStrength phase가 이 test를 상수로 fold할 수 있습니다. 이런 fold가 안전하려면 생성되는 상수가 dynamic check의 결과와 정확히 같아야 합니다. 여기에는 노드의 shouldNegate() polarity flag도 포함됩니다. 이 flag는 "subtype이다"라는 판정을 "subtype이 아니다"로 뒤집습니다.

관전 포인트: 조작된 Wasm GC module로 최적화된 코드를 cast 성공 경로로 유도할 수 있습니다. 이때 넘어가는 객체는 잘못된 struct type이므로, 해당 객체를 기준으로 타입이 어긋난 field 접근이 가능한 상황이 만들어집니다.

Source/JavaScriptCore/b3/B3ReduceStrength.cpp

@@ -3604,6 +3604,8 @@ class ReduceStrength {
SUPPRESS_UNCOUNTED_LOCAL const Wasm::RTT* targetRTT = cast->targetRTT();
if (!Wasm::typeIndexIsType(static_cast<Wasm::TypeIndex>(toHeapType))) {
if (rtt->isSubRTT(*targetRTT)) {
+ // shouldNegate는 WasmRefTest에만 설정될 수 있습니다.
+ ASSERT(!cast->shouldNegate());
replaceWithIdentity(structNew);
break;
}
@@ -3669,7 +3671,8 @@ class ReduceStrength {
int32_t toHeapType = cast->targetHeapType();
SUPPRESS_UNCOUNTED_LOCAL const Wasm::RTT* targetRTT = cast->targetRTT();
if (!Wasm::typeIndexIsType(static_cast<Wasm::TypeIndex>(toHeapType))) {
 
- replaceWithNewValue(m_proc.addIntConstant(m_value, !!rtt->isSubRTT(*targetRTT)));
+ const bool isSubtype = rtt->isSubRTT(*targetRTT);
+ replaceWithNewValue(m_proc.addIntConstant(m_value, cast->shouldNegate() ? !isSubtype : isSubtype));
break;
}
}

JSTests/wasm/gc/br_on_cast_fail.js

+// (type (;0;) (struct (field (mut i32))))
+// (type (;1;) (struct (field (mut i32)) (field (mut i64)) (field (mut i64))))
...
+// (func (;0;) (type 3) (result i32)
+// block (type 2) (result (ref struct)) ;; label = @1
+// i32.const 42
+// struct.new 0
+// br_on_cast_fail 0 (;@1;) (ref struct) (ref 1)
+// drop
+// i32.const 0
+// return
+// end
+// drop
+// i32.const 1
+// )
...
+for (let i = 0; i < 200000; i++) {
+ fail();
+ pass();
+}
+
+if (fail() === 0 || pass() === 0)
+ throw new Error("br_cast_on_fail incorrect");

이 commit은 ReduceStrength 안의 WasmRefTypeCheckValue folding 규칙 두 개를 수정했습니다. 두 규칙은 모두 한 가지 형태에서만 동작합니다. 검사 대상 reference가 WasmStructNew에서 직접 넘어오는 경우입니다. 이때는 객체의 정확한 RTT를 컴파일 시점에 알 수 있으므로, rtt->isSubRTT(*targetRTT)로 cast->targetRTT()와 비교할 수 있습니다. 또한 두 규칙 모두 !Wasm::typeIndexIsType(...) 분기 안에 있습니다. 즉 target heap type이 abstract heap type이 아니라 구체적인 type index인 경우에 해당합니다.

Ref-test fold (실제 수정). 두 번째 hunk는 ref test를 정수 상수로 fold합니다. 패치 이전에는 m_proc.addIntConstant(m_value, !!rtt->isSubRTT(*targetRTT))를 생성했습니다. 즉 subtype 판정 결과를 그대로 사용했고, cast->shouldNegate()는 전혀 참조하지 않았습니다. 패치 이후에는 isSubtype을 한 번 계산한 뒤 cast->shouldNegate() ? !isSubtype : isSubtype을 생성하도록 변경되었습니다. 그 결과 negated test도 올바른 polarity로 fold됩니다.

Ref-cast fold (방어적 변경). 첫 번째 hunk는 subtype 관계가 성립할 때 ref cast를 operand인 structNew로 대체합니다(replaceWithIdentity(structNew)). 여기에 ASSERT(!cast->shouldNegate())와 함께, shouldNegate는 WasmRefTest에만 설정될 수 있다는 주석이 추가되었습니다. runtime 동작은 달라지지 않습니다. 다만 negation은 test 형태에만 붙는다는 invariant를 명시했습니다. 따라서 negated cast가 이 규칙에 도달한다면 lowering 쪽 버그로 간주됩니다.

Regression test. JSTests/wasm/gc/br_on_cast_fail.js는 서로 무관한 두 struct type으로 구성된 recursive type group을 정의합니다. Type 0은 i32 field 하나를 갖습니다. Type 1은 i32 field 뒤에 i64 field 두 개가 이어집니다. export된 두 함수는 각각 새로 생성한 struct에 대해 (ref 1)을 대상으로 br_on_cast_fail을 실행합니다.

200,000회 반복 loop는 두 함수를 OMG로 tier-up시키기 위한 것입니다. 마지막 검사에서는 둘 중 하나라도 0을 반환하면 실패합니다. 0은 각 함수가 잘못된 경로를 탔을 때 반환하는 값입니다.

WebAssembly GC struct와 RTT. WebAssembly GC proposal은 타입이 선언된 field를 갖는 heap 할당 struct type을 추가했습니다. 각 struct type에는 runtime type descriptor(RTT)가 있습니다. RTT는 해당 type이 module에 선언된 subtype 계층에서 어디에 위치하는지 기록합니다. isSubRTT는 한 RTT가 다른 RTT의 subtype인지 판정합니다.

br_on_cast_fail. br_on_cast_fail label rt1 rt2는 operand reference가 rt2 type인지 검사합니다. 검사가 실패하면 값을 rt1 type으로 들고 label로 branch합니다. 반대로 검사가 성공하면 fallthrough하며, validator는 stack에 남은 값을 rt2 type으로 간주합니다. 결과적으로 두 successor는 같은 reference를 서로 다른 static type으로 보게 됩니다.

Static type과 생략되는 검사. Wasm validation은 코드가 실행되기 전에 static type을 보장합니다. 컴파일된 코드는 이 보장에 의존할 수 있습니다. 그래서 구체적인 struct type으로 정적 타입이 지정된 값에 대한 struct.get/struct.set은 runtime RTT 검사 없이 고정 offset으로 field에 접근합니다.

JSC의 Wasm tier. JavaScriptCore는 Wasm을 여러 tier로 나누어 컴파일합니다. BBQ는 baseline compiler입니다. OMG는 최적화 compiler로, Wasm을 JSC의 저수준 SSA IR인 B3로 lowering합니다. 자주 실행되는 함수는 BBQ에서 OMG로 tier-up됩니다.

ReduceStrength. ReduceStrength는 constant folding, canonicalization, peephole 단순화를 수행하는 B3 phase입니다. 더 이상 변화가 없을 때까지 반복 실행됩니다. 각 규칙은 값과 operand를 pattern-matching한 뒤, 더 단순한 값으로 대체하거나(replaceWithNewValue, replaceWithIdentity) 그대로 둡니다.

WasmRefTypeCheckValue. 이 B3 value class는 Wasm reference type 검사를 두 가지 형태로 표현합니다. test 형태는 0/1 정수를 생성합니다. cast 형태는 reference 자체를 생성하거나 trap합니다. 두 형태 모두 target heap type(targetHeapType())과 RTT(targetRTT())를 가지며, test 결과를 뒤집는 shouldNegate() flag도 함께 갖습니다.

WasmStructNew. WasmStructNew는 struct를 할당하는 B3 value입니다. RTT가 정적으로 알려져 있으므로, strength reduction 단계에서 새로 할당된 객체의 subtype 여부를 컴파일 시점에 판정할 수 있습니다.

predicate 노드를 상수로 fold하는 과정에서, negated 노드에 대해 negation이 적용되지 않은 결과가 계산되었습니다. 컴파일러 최적화의 logic error로 시작했지만, 결과적으로 Wasm GC type confusion으로 이어지는 버그입니다.

  fail():  struct.new 0 ──► br_on_cast_fail 0 (ref struct) (ref 1)
           RTT = type 0      OMG: WasmRefTest(target=type 1, shouldNegate=true)

  Before fix (OMG):                    After fix (OMG):
  isSubRTT(type0, type1) = false       isSubtype = false
  fold → const 0  (negate ignored)     fold → const !false = 1
    └─► branch NOT taken                 └─► branch taken → @1
          └─► fallthrough: value               value at (ref struct)  ✓
              typed (ref 1)  ✗ type-0 obj
  BBQ / un-folded path: dynamic test, correct polarity either way

버그의 전부는 다이어그램 왼쪽 열에 담겨 있습니다. OMG는 br_on_cast_fail을 negated WasmRefTest로 표현합니다. branch 조건이 "cast 실패"이므로, operand가 target의 subtype이 아닐 때 노드의 결과가 1이어야 합니다. commit message, test 이름, 새 ASSERT 주석("shouldNegate can only be set on WasmRefTest")이 모두 이 lowering 방식을 가리킵니다.

fail에서는 operand가 struct.new 0에서 바로 넘어옵니다. 그래서 ReduceStrength는 구체적인 target을 가진 WasmStructNew operand를 보고 fold를 수행합니다. 이때 isSubRTT(type0, type1)은 false입니다. negated 노드라면 올바른 fold 결과는 !false = 1입니다. 그런데 패치 이전 규칙은 isSubtype 값을 그대로 사용해 0을 생성했습니다. 결과적으로 branch가 수행되지 않고, 실행은 성공 쪽 successor로 fallthrough됩니다.

위험한 쪽은 fallthrough 경로입니다. Wasm type system에서 이 경로가 갖는 의미 때문입니다. validator는 이미 fallthrough edge 위의 값을 target type인 (ref 1)로 간주했고, 이 type은 field가 세 개입니다. 하지만 실제로 register에 들어 있는 객체는 i32 field 하나뿐인 type-0 struct입니다.

OMG는 validation을 통과한 static type을 신뢰합니다. 그래서 구체적으로 타입이 지정된 reference에 대한 struct.get/struct.set에서 runtime RTT 검사를 생성하지 않습니다. 따라서 이 경로에서 field에 접근하면 type 1 정의에 맞춘 layout으로 접근하게 되지만, 그 아래 storage는 type 0의 것입니다. regression test에서는 값을 곧바로 drop하므로, 관찰되는 증상은 fail()이 1 대신 0을 반환하는 것뿐입니다. 반면 조작된 module에는 Wasm validation이 그런 제약을 두지 않습니다. fallthrough 코드는 type-0 객체에 존재하지 않는 i64 field를 자유롭게 struct.get 또는 struct.set할 수 있습니다.

반대 방향은 pass 함수이며, 이쪽 실패는 무해합니다. (ref 1)에 대해 검사한 type-1 struct는 subtype이므로, 잘못된 fold는 1을 생성했습니다. 그래서 negated branch가 잘못 수행되었고, 값은 더 약한 type인 (ref struct)로 label에 전달되었습니다. 함수가 틀린 값을 반환하므로 correctness 버그에는 해당합니다. 다만 (ref struct) 위의 코드는 구체적인 field layout을 가정할 수 없으므로 memory safety 문제는 아닙니다. 즉 두 방향은 비대칭입니다. 결과가 뒤집혀 객체가 validator가 더 강한 type을 부여한 successor로 이동할 때만 memory unsafety가 발생합니다.

regression test가 실행하는 trigger 순서는 다음과 같습니다.

  1. 두 struct type을 선언합니다. 이때 target type(type 1)은 할당되는 type(type 0)보다 엄격히 크고, type 0의 supertype도 아니어야 합니다.
  2. 함수 안에서 struct.new 0으로 할당한 결과를 br_on_cast_fail ... (ref struct) (ref 1)에 직접 전달합니다. 그러면 negated test의 B3 operand가 WasmStructNew 자체가 됩니다.
  3. 함수를 충분히 여러 번 호출해(test에서는 200,000회) BBQ에서 OMG로 tier-up시킵니다. ReduceStrength는 OMG에서 실행됩니다.
  4. OMG 코드에서 negated test가 0으로 fold됩니다. branch는 fallthrough되고, type-0 객체가 (ref 1)로 정적 타입이 지정된 경로에 도달합니다.
  5. 이 경로에서 type 1 layout으로 field에 접근하는 순간이 type confusion입니다. test는 잘못된 반환값을 관찰하는 단계에서 멈춥니다.

tier-up 조건이 필요한 만큼, 함수를 충분히 반복 실행하지 않는 테스트로는 이 버그가 드러나지 않습니다. BBQ는 이 ReduceStrength fold를 실행하지 않으므로, baseline 코드는 올바른 polarity로 dynamic test를 수행합니다. 결과가 뒤집히는 것은 OMG로 컴파일된 body뿐입니다. 한편 WasmStructNew에 직접 ref test를 거는 fold의 형태는 매우 좁습니다. compiler가 생성하거나 사람이 직접 작성한 Wasm에서는 드물지만, 조작된 module에서는 간단히 만들 수 있습니다.

공격자가 제공한 Wasm GC module을 통해 웹 콘텐츠에서 이 버그에 도달할 수 있습니다. 단, 대상 함수가 OMG로 tier-up된 이후여야 합니다. 뒤집힌 fold는 diff에 직접 드러납니다. regression test 역시 non-subtype 객체에 대해 성공 경로 fallthrough가 수행되는 상황을 보여줍니다. 이때 validator가 부여한 type은 더 큰 target struct입니다.

직접적인 영향은 잘못된 control flow입니다. fallthrough 코드가 target type에만 있는 추가 field에 접근한다고 가정할 수 있습니다. 이 경우 WebContent process 안에서 Wasm GC struct storage에 대한 relative out-of-bounds 접근이나 타입이 어긋난 접근으로 이어질 가능성이 있습니다. 이 primitive의 상한은 relative read/write입니다. 범위는 target struct의 field layout과 실제 객체 layout 사이의 크기 차이로 제한되며, 두 정의가 어긋나는 위치에서는 field 종류 혼동도 함께 발생합니다.

target type이 reference 타입 field를 선언한 위치에 실제 객체는 정수를 갖고 있거나, 그 반대인 경우도 생각할 수 있습니다. 이 경우 reference/integer confusion으로 이어질 가능성이 있습니다. 다만 이는 공격자가 선택하는 struct 정의에 달려 있습니다. 값을 drop하는 regression test는 이 부분까지 실행하지 않습니다. module bytes를 제어하는 공격자라면 이를 Apple이 밝힌 "arbitrary code execution" 영향의 근거가 되는 memory safety 위반으로 발전시키는 것이 이론적으로 가능합니다. 이 모든 과정은 WebContent sandbox 안에 머뭅니다. renderer 밖으로 영향을 확장하려면 별도의 escape가 필요합니다.

수정은 fold 지점에서 invariant를 복원합니다. 이제 상수는 subtype 관계와 노드의 polarity를 모두 반영합니다. 그래서 fail은 1로 fold되어 branch를 수행하고, type-0 객체는 이를 (ref struct)로 보는 코드에만 도달합니다.

ref-cast hunk는 다른 방식을 택했습니다. cast fold가 polarity를 고려하도록 만든 것이 아니라, cast 형태는 negate되지 않는다는 점을 assert로 확인할 뿐입니다. 이 assertion은 debug build에서만 보호 효과가 있습니다. 향후 lowering이 cast에 shouldNegate를 설정하게 된다면 문제가 다시 생깁니다. release build에서는 polarity 검사가 전혀 없는 상태로, 해당 fold에 조용한 불일치가 다시 들어오게 됩니다.

컴파일 시점 fold에서 polarity flag 하나가 누락되면서, validator가 이미 type 1을 보장한 경로에 type-0 struct가 놓였고, OMG는 field offset 계산에서 그 보장을 그대로 신뢰합니다.

Takeaway: flag를 가진 IR 노드를 재작성할 때는 결과가 모든 flag를 반영해야 합니다. 각 fold와 CSE key에서 targetRTT()/targetHeapType()를 읽으면서 shouldNegate()는 참조하지 않는 지점을 검색해 볼 필요가 있습니다. 이런 지점이 발견되면, flag가 설정되지 않은 것처럼 결과를 계산하는 fold에 해당합니다.