← All reports

[4] ANGLE Metal backend out-of-bounds vertex fetch for converted attributes

MediumANGLE Metal backendOOB

ANGLE's front-end approved the WebGL2 draw. Metal then read past the buffer.

a3cf2c8

Medium으로 평가한 이유: WebGL2 콘텐츠가 GPU로 하여금 vertex buffer 끝을 수십 바이트 넘어 fetch하게 만들 수 있습니다. 다만 이 read는 범위가 제한되어 있고 읽기 전용입니다. 실제 leak으로 이어지는지는 buffer 옆에 어떤 allocation이 놓이는지, 그리고 GPU가 범위 밖 fetch를 어떻게 처리하는지에 달려 있습니다.

Apple 플랫폼의 WebGL은 OpenGL ES를 Metal로 변환하는 방식으로 구현되어 있습니다. 모든 draw는 먼저 front-end에서 한 번 검증되고, 이후 backend가 이를 native GPU binding으로 변환합니다. WebKit이 내장한 GL-to-native 변환 라이브러리인 ANGLE에서는 VertexArrayMtl(Metal backend의 vertex-array 상태)이 이 역할을 맡습니다. 이때 Metal이 원래 형식을 직접 fetch할 수 없으면, 페이지가 선언한 GL type보다 넓은 actual format으로 vertex attribute를 저장할 수 있습니다. 데이터는 새 buffer로 변환됩니다. Backend는 front-end가 draw를 허용하면서 측정한 바이트 범위 안에서만 fetch해야 합니다.

관전 포인트: 마지막 바이트까지 꽉 맞춘 buffer에 packed vertex attribute를 둔 WebGL2 페이지를 가정할 수 있습니다. 이 경우 front-end가 승인한 draw가 실제로는 buffer 끝을 넘는 GPU read로 실행됩니다. 범위 안의 바이트조차 float로 잘못 해석됩니다.

VertexArrayMtl::syncDirtyAttrib는 buffer 용량 검사의 크기 기준으로 GL attribute의 type 크기가 아니라 actual Metal format을 사용했습니다. Native로 지원되는 형식에서는 두 값이 같습니다. 그러나 attribute에 변환이 필요하면 actual format이 넓어집니다. 예를 들어 R10G10B10A2_SSCALED는 R32G32B32A32_FLOAT로 에뮬레이션되며, 4바이트가 16바이트가 됩니다. 그러면 GetVertexCount는 vertex당 4바이트만 담으면 되는 buffer에서 16을 빼게 됩니다. 이 뺄셈에서 underflow가 발생하고, 정상적인 개수의 vertex를 가진 buffer가 0을 보고합니다. 값이 0이면 numVertices == 0 분기로 진입하는데, 이 분기는 needConversion보다 먼저 검사됩니다. 결과적으로 attribute는 convertVertexBuffer를 건너뛰고, 원본 GL buffer가 넓어진 descriptor와 stride 16으로 bind됩니다. 이 fallback은 KHR_robust_buffer_access_behavior가 fetch를 clamp해 준다는 전제에 의존했지만, Metal은 이 extension을 제공하지 않습니다. 한편 front-end는 같은 attribute를 4바이트로 측정하므로 draw를 허용했습니다. GPU는 buffer 끝을 넘어 읽으며, 범위 안의 vertex에서도 packed bit를 float로 잘못 해석합니다. 크기 기준은 314003@main에서 바뀌었습니다. 이 commit이 non-conversion 경로까지 다루려고 해당 검사를 convertVertexBuffer 밖으로 끌어올렸기 때문입니다.

대신 gl::ComputeVertexAttributeTypeSize(attrib)로 개수를 셉니다. Front-end가 VertexAttribute::mCachedElementLimit를 계산할 때 사용하는 바로 그 호출입니다. 다른 모든 backend는 이미 동등한 검사에 이 값을 전달하고 있습니다. 또한 numVertices == 0 fallback이 임의로 만든 stride로 source buffer를 bind하지 않도록 수정합니다. Attribute를 unbind 상태로 두어 setupDraw가 기본 attribute 값을 공급하게 하고, inline data pointer도 비워 stale client array가 대신 선택되지 않도록 합니다.

Source/ThirdParty/ANGLE/src/libANGLE/renderer/metal/VertexArrayMtl.mm

 
- unsigned srcFormatSize = format.actualAngleFormat().pixelBytes;
+ // source vertex 개수는 GL attribute의 type 크기로 셉니다.
+ // front-end가 VertexAttribute::mCachedElementLimit를 계산할 때
+ // 사용하는 기준과 동일합니다. 형식 변환이 필요하면 actual Metal
+ // format이 더 넓어집니다. 예를 들어 R10G10B10A2_SSCALED (4 bytes)는
+ // R32G32B32A32_FLOAT (16 bytes)로 에뮬레이션되므로, 이를 사용하면
+ // source buffer가 담고 있는 vertex 수를 실제보다 적게 셉니다.
+ unsigned srcFormatSize =
+ static_cast<unsigned>(gl::ComputeVertexAttributeTypeSize(attrib));
size_t numVertices = GetVertexCount(bufferMtl, binding, srcFormatSize);
if (numVertices == 0)
{
// 범위 밖 buffer 접근이므로 임의의 값을 반환할 수 있습니다.
// KHR_robust_buffer_access_behavior 참고.
 
- mCurrentArrayBuffers[attribIndex] = bufferMtl;
 
- mCurrentArrayBufferFormats[attribIndex] = &format;
+ mCurrentArrayBuffers[attribIndex] = nullptr;
+ mCurrentArrayInlineDataPointers[attribIndex] = nullptr;
+ mCurrentArrayInlineDataSizes[attribIndex] = 0;
+ mCurrentArrayBufferFormats[attribIndex] =
+ &contextMtl->getVertexFormat(angle::FormatID::NONE, false);
mCurrentArrayBufferOffsets[attribIndex] = 0;
 
- mCurrentArrayBufferStrides[attribIndex] = 16;
+ mCurrentArrayBufferStrides[attribIndex] = 0;
}
else if (needConversion)
...

Source/ThirdParty/ANGLE/src/tests/gl_tests/VertexAttributeTest.cpp

+TEST_P(VertexAttributeTestES3, PackedIntRevBufferWithNoSlack)
+{
+ constexpr size_t kNoSlackVertexCount = 3;
...
+ // 마지막 바이트까지 맞춘 크기: 정확히 kNoSlackVertexCount개의 packed vertex, 여유 공간 없음.
+ glBufferData(GL_ARRAY_BUFFER, sizeof(packedInput), packedInput.data(), GL_STATIC_DRAW);
+ glVertexAttribPointer(testLoc, 4, GL_INT_2_10_10_10_REV, GL_FALSE, 0, nullptr);
...
+ glDrawArrays(GL_TRIANGLES, 0, kNoSlackVertexCount);

rx::VertexArrayMtl::syncDirtyAttrib는 두 곳이 수정되었습니다. 먼저 GetVertexCount(bufferMtl, binding, srcFormatSize)에 전달하는 크기가 변경되었습니다. 기존에는 에뮬레이션된 Metal format의 크기인 format.actualAngleFormat().pixelBytes를 사용했습니다. 이제는 GL attribute 자체의 type 크기인 gl::ComputeVertexAttributeTypeSize(attrib)를 사용합니다.

다음으로 numVertices == 0 분기에서 더 이상 source buffer를 bind하지 않습니다. mCurrentArrayBuffers[attribIndex]를 nullptr로 설정하고, mCurrentArrayInlineDataPointers와 mCurrentArrayInlineDataSizes를 비웁니다. 또한 mCurrentArrayBufferFormats가 FormatID::NONE vertex format을 가리키게 하고, offset과 stride를 0으로 설정합니다.

테스트 파일에는 Pack2101010Rev helper와 GL_INT_2_10_10_10_REV의 stride 항목이 추가되었습니다. Signed normalized/unnormalized INT_2_10_10_10_REV 테스트도 함께 추가되었습니다. Regression test인 PackedIntRevBufferWithNoSlack은 여유 공간 없는 12바이트 buffer에서 packed vertex 3개를 draw합니다.

Validator와 backend가 하나의 element를 서로 다른 크기 기준으로 측정하는 패턴. 넓어진 format 때문에 용량 검사가 underflow되고, draw가 변환되지 않은 fallback으로 넘어갑니다.

Vertex attribute fetch. WebGL draw는 bind된 buffer에서 vertex별 attribute를 읽습니다. 각 attribute는 다음 요소로 기술됩니다. Component type(GL_FLOAT, GL_INT_2_10_10_10_REV 등), component 개수, stride(vertex 사이의 바이트 수이며 0이면 빈틈없이 채워진 상태), 그리고 buffer 내부 offset입니다. GL_INT_2_10_10_10_REV는 signed 10-bit channel 3개와 signed 2-bit channel 1개를 4바이트 word 하나에 담는 형식으로, OpenGL ES 3.0과 WebGL2에서 사용할 수 있습니다.

Front-end와 backend. ANGLE의 front-end(libANGLE)는 모든 draw를 검증합니다. 그중 한 검사는 요청된 vertex 범위를 VertexAttribute::mCachedElementLimit와 비교합니다. 이 값은 attribute별 상한으로, buffer 크기, offset, stride, 그리고 gl::ComputeVertexAttributeTypeSize(attrib)로부터 계산됩니다(추가된 주석 기준). 이후 backend(renderer/metal)가 검증된 상태를 native binding으로 변환합니다.

Intended format과 actual format. ANGLE의 각 format에는 intended format(GL이 지정한 형식)과 actual format(native API가 사용하는 형식)이 있습니다. Metal이 어떤 형식을 직접 fetch할 수 없으면, backend는 더 넓은 actual format을 골라 데이터를 새 buffer로 변환합니다. actualAngleFormat().pixelBytes는 actual format의 element당 크기입니다.

GetVertexCount. VertexArrayMtl.mm에 있는 helper로, 하나의 binding에 온전한 vertex가 몇 개 들어가는지 계산합니다. angle::CheckedNumeric<size_t>를 사용하며, 뺄셈 중 하나라도 underflow되면 0을 반환합니다.

KHR_robust_buffer_access_behavior와 기본 attribute. 이 extension은 범위 밖 buffer read가 0이나 buffer 내부의 값을 반환하며, 절대 buffer 바깥을 읽지 않는다고 보장합니다. 그래서 robustness를 강제하는 API 위의 backend는 범위 밖 fetch를 안전하다고 간주할 수 있습니다. 한편 attribute array가 비활성화되었거나 unbind된 경우, shader는 현재 generic attribute 값(glVertexAttrib4f 등으로 설정)을 받습니다. Patch에 추가된 주석에 따르면, Metal backend에서는 attribute가 unbind 상태로 남으면 setupDraw()가 이 값을 공급합니다.

Front-end와 Metal backend는 같은 attribute를 서로 다른 단위로 측정했습니다. 이 불일치 때문에 정상적인 draw가 실제 메모리를 bind하는 fallback으로 흘러갔습니다.

  Before:                                       After:
  GetVertexCount(size=16)  (actual format)      GetVertexCount(size=4)  (GL type size)
    12 - 16 underflows -> 0                       12 bytes -> 3 vertices
  numVertices == 0  (tested before conversion)  needConversion
    bind raw 12-byte buffer                       convertVertexBuffer -> R32G32B32A32
    format R32G32B32A32_FLOAT, stride 16          fetch from converted buffer
    GPU fetches 16 B/vertex  -> past end        numVertices == 0 (truly too small)
                                                  unbind; setupDraw default value

왼쪽을 보면, GetVertexCount는 checked arithmetic으로 bytes = size - bindingOffset - srcFormatSize를 계산하고 underflow 시 0을 반환합니다. srcFormatSize가 16(넓어진 R32G32B32A32_FLOAT)이면, 사용 가능한 바이트가 16 미만인 binding은 모두 vertex 0개로 보고됩니다. 반면 4바이트 기준으로 측정하는 front-end는 최대 3개까지 허용한 상태입니다.

문제는 numVertices == 0이 needConversion보다 먼저 검사된다는 점입니다. 그래서 변환을 건너뛰고, 원본 buffer가 넓어진 descriptor와 임의로 만든 stride 16으로 bind됩니다. 해당 분기의 주석(can return any values. See KHR_robust_buffer_access_behavior)은 이 fetch를 무해하다고 보았습니다. 그러나 commit message는 Metal이 이 extension을 제공하지 않는다고 명시합니다. 새 테스트의 주석도 이 binding을 "packed bit를 float로 잘못 해석하고 buffer 끝을 넘어 fetch하는" 동작으로 설명합니다.

결과적으로 두 가지 실패가 발생합니다. 하나는 source buffer 끝을 넘는 out-of-bounds read이고, 다른 하나는 범위 안의 packed bit를 IEEE float로 잘못 해석하는 문제입니다.

Commit message는 크기 기준의 변경 시점을 314003@main으로 지목합니다. 이 commit은 non-conversion 경로까지 다루기 위해 검사를 convertVertexBuffer 밖으로 끌어올렸습니다. 원래 convertVertexBuffer는 intended format으로 크기를 쟀습니다. 그런데 끌어올린 사본은 지역 변수 format을 그대로 가져왔고, syncDirtyAttrib에서 이 변수는 actual format을 가리킵니다.

Regression test에는 문제를 유발하는 형태가 정확히 드러나 있습니다. 여유 공간 없이 GL_INT_2_10_10_10_REV vertex 3개를 담은 12바이트 buffer, 변환이 필요한 unnormalized attribute, 그리고 glDrawArrays(GL_TRIANGLES, 0, 3)입니다. 패치 이전에는 범위 안의 pixel을 포함해 모든 pixel에서 테스트가 실패했습니다.

Exploitability: 웹 콘텐츠에서 WebGL2로 도달 가능합니다. 조건은 buffer 기반의 unnormalized GL_INT_2_10_10_10_REV attribute를 두고, offset 이후 사용 가능한 바이트를 16 미만으로 맞춘 뒤 front-end가 허용하는 draw를 호출하는 것입니다. 이때 GPU는 binding 끝을 넘어 최대 약 36바이트를 fetch했습니다.

확인된 영향은 잘못된 렌더링과 out-of-bounds GPU read입니다. 이 read는 읽기 전용이고 수십 바이트로 제한되며, 읽힌 값은 float 입력 형태로 vertex shader에만 전달됩니다.

의미 있는 leak으로 확장될 수 있는지는 BufferMtl의 allocation 모델에 달려 있습니다. WebGL buffer가 공유 pool에서 sub-allocate된다고 가정할 수 있습니다. 이 경우 끝을 넘은 바이트는 다른 WebGL buffer에 속할 수 있고, 다른 context나 origin의 것일 가능성도 있습니다. 그 값이 vertex shader를 거쳐 렌더링된 pixel이나 transform feedback으로 흘러가고, readPixels로 다시 읽힐 가능성이 존재합니다. 반대로 독립된 page 기반 allocation이라면, over-read는 padding 영역에 떨어지거나 GPU에서 fault를 일으킬 것으로 보입니다. 최신 Apple 플랫폼에서는 ANGLE이 대체로 GPU process에서 실행됩니다. 따라서 leak되는 바이트가 있다면 GPU process의 Metal allocation에서 나오게 됩니다.

패치 이전의 이 vulnerability는 WebGL/GPU 경계의 memory safety를 약화시켰습니다. WebGL은 front-end 검증이 통과하면 backend가 bind된 buffer 안에서만 fetch한다는 전제에 기대고 있습니다. Metal backend는 변환이 필요한 packed attribute에서 이 전제를 깨뜨렸습니다. Apple GPU 하드웨어가 이런 fetch를 clamp하거나 0으로 채우는지는 아직 확인되지 않은 부분입니다. Over-read가 인접 GPU allocation의 실제 내용을 반환하고, 그 내용을 렌더링과 readback으로 드러낼 수 있다고 가정할 수 있습니다. 이 조건이 성립하면, ANGLE을 호스팅하는 process에서 범위가 제한된 소규모 cross-allocation information leak으로 이어질 가능성이 있습니다.

Takeaway: backend의 용량 검사는 draw를 허용한 front-end 상한과 동일한 측정값이어야 합니다. 변환 계층이 format을 넓히는 순간, 검증 이후 단계에서 native 단위로 계산되는 모든 상한은 언제든 불일치를 일으킬 수 있는 지점이 됩니다.