← All reports

Per-element transforms inside macOS Spatial Portals

Component: WebKit Model / Spatial Portals | f6c7f23

Source/WebKit/GPUProcess/graphics/Model/USDModel.swift

+ @objc(setTransform:forNode:)
+ func setTransform(_ transform: simd_float4x4, forNode node: NodeIdentifier) {
+ nodeTransforms[node] = transform
+ }
+
+ @objc(removeNode:)
+ func removeNode(_ node: NodeIdentifier) {
+ nodeTransforms.removeValue(forKey: node)
+ }
...
+ let nodeTransform = meshNodes[identifier].flatMap { nodeTransforms[$0] } ?? matrix_identity_float4x4
- meshInstance.transform = modelTransform * originalTransforms[index]
+ meshInstance.transform = modelTransform * nodeTransform * originalTransforms[index]

Spatial Portals(spatial: portal)는 3D <model> 콘텐츠를 별도의 공간에 렌더링합니다. 이때 WebContent process는 해당 콘텐츠를 직접 렌더링하지 않습니다. 대신 WebModelPlayer와 RemoteMeshProxy가 상태를 GPU process의 RemoteMesh로 전달합니다. RemoteMesh는 이를 다시 MeshImpl/WebMesh로 넘기고, 최종적으로 USD renderer를 구동하는 USDModel.swift의 Swift bridge까지 전달됩니다. 지금까지는 portal 전체에 대한 global transform 하나만 적용되었습니다.

먼저 RemoteMesh.update가 UpdateModel로 변경되었고, 이제 NodeIdentifier를 함께 전달합니다. 또한 새로운 UpdatePortalChildTransform 메시지가 추가되어, 모델별 transform을 WebContent에서 GPU process로 전송합니다. USDModel.swift에는 두 개의 map이 새로 추가되었습니다. 하나는 mesh에서 node로 대응하는 meshNodes이고, 다른 하나는 node에서 transform으로 대응하는 nodeTransforms입니다. render는 model transform과 원래의 mesh transform 사이에 node transform을 끼워 넣어 합성합니다. 한편 WebModelPlayer::setEntityTransform도 더 이상 stub이 아니며 실제로 구현되었습니다.

Portal 안의 각 모델을 개별적으로 scale, 회전, 이동할 수 있게 되었으며, 해당 transform은 GPU process에서 적용됩니다. 동시에 모델 렌더링을 위한 WebContent-to-GPU IPC interface도 그만큼 넓어졌습니다.

이제 GPU process는 WebContent가 제공하는 identifier를 key로 삼아 node별 상태를 보관합니다. 이 상태는 update, transform, remove 전반에 걸쳐 일관되게 유지되어야 합니다. 문제는 removeNode(_:)가 nodeTransforms만 정리한다는 점입니다. meshNodes 항목은 이후 processRemovals에서 따로 제거됩니다. 그 결과 mesh가 이미 제거된 node를 여전히 가리키는 상태가 생길 수 있습니다. 이 상태에서 UpdatePortalChildTransform이 다시 도착하면 해당 항목이 재생성되고, render는 이를 stale mapping에 그대로 적용하게 됩니다.

따라서 다음 경우들을 테스트해 볼 가치가 있습니다. - 알 수 없는, stale, 또는 재사용된 NodeIdentifier - UpdateModel보다 먼저 도착하는 메시지 - 서로 다른 RemoteMesh instance 사이에서 충돌하는 identifier - 다른 node로 UpdateModel을 반복 전송하는 경우 (updateMesh가 meshNodes[identifier]를 덮어씀)

setPortalChildTransform의 kCSSPixelsPerMeter scaling은 송신 측에서 수행됩니다. 이 단계를 건너뛰는 sender를 가정하면, RemoteMesh::updatePortalChildTransform이 NaN, 무한대, degenerate, 또는 비정상적으로 큰 matrix를 어떻게 처리하는지 점검할 필요가 있습니다. 또한 render(with:commandBuffer:) 실행 중 Swift dictionary에 대한 동시 접근이 발생하는지도 살펴봐야 합니다.

더 넓게 보면, C++/Objective-C++/Swift bridge는 lifetime 버그와 type confusion이 자주 발견되는 지점입니다. 한편 기존 Update는 reply를 반환했지만, UpdateModel은 이제 fire-and-forget 방식으로 바뀌었다는 점도 함께 고려해야 합니다.