UE | Runtime Cell ISM Transformer 的一些问题 | Blurred code

UE | Runtime Cell ISM Transformer 的一些问题

2026/11/15

LastMod:2026/11/15

Categories: UE

Engine Version: 5.5.4

记录一个优化失败的例子吧。

最早应该是参考了《巫师4》的分享,里面提到了如何应对流送时Actor的冲击。

Streaming Improvements for Dense Worlds in The Witcher 4 UE 5 Tech Demo | Unreal Fest Orlando 2025 - YouTube

里面其实讲了很多,但是我们参考并移植了其中的一部分:

比如这里提到的:ISM Cell 转换器,也就是引擎里的 Runtime Cell Transformer(UWorldPartitionRuntimeCellTransformerISM)。

UE_ISM的罪与罚-2026-11-15-21-34-55

简单介绍下背景:

在WorldPartition的流送下,散装的Actor每个都必须经历一个比较重量级的初始化过程,包括注册physics body,注册渲染,以及自身的初始化逻辑,在大世界流送的时候很容易触发hitch。

要解决这个问题,一种改动较小的思路是把这个Cell里所有的Actor合并成ISM,把大量Actor转换成轻量的Instance,并且还能立刻收获到draw call合批的收益。 另外一个改动较大的思路是接入Fast Geometry Streaming,彻底把场景里这些东西从U类体系解耦,转换成一个平凡的F类。

这是《巫师4》探索的两条路径,可能他们也是结合起来在用,因为转成fast geo以后,引擎侧也会有一些逻辑上的问题或者限制。

免费的午餐?

转换成ISM似乎是免费的,并且还能收获到许多实际的好处。

  1. ISM的Instance都在GPUScene上,GPUScene能做精确的Instance级别的剔除。
  2. UE5.5实现了ISM的GPU LOD选择,LOD选错的问题才被解决(5.5之前没有这个)。
  3. 大量合批以后,对于建筑等密集场景绘制效率会有一定提升。

看起来很不错,从UE后续版本移植这个功能并不复杂,大概几百行就能移植完。并且通过一定的扩展,如果读过源码的话,WorldPartition的Cell和普通非WorldPartition的Level其实是类似的数据结构(两者存在转换关系,Cell最后会转成StreamingLevel)。所以Runtime Cell Transformer实际上是对Level做处理,而这个逻辑很容易移植到普通关卡上,形成一种通用的Cook期Level Actor处理钩子。很多逻辑都可以依托这个机制注入。

ISM的问题

起初由于我们在渲染这边的性能埋点不足,没有观察到什么问题,唯一注意到的就是draw call数量上升了。 没错,ISM会提高draw call数量,因为ISM的GPU LOD会大量发起indirect draw。不过这些不需要切换PSO的draw在现代GPU驱动上基本是free的,只是给cmdlist多塞一个指令罢了。

真正的问题要到很后面才暴露出来。

最大的问题:纹理流送容易过高估计需要的纹理

Texture streaming uses ISM component bounds instead of closest ISM instance(UE-361876)

其他人也有观察到这个问题。

由于ISM是按整个Cell合批,很容易出现跨越几百米的AABB Component Bounds。此时纹理流送系统会判定摄像机处于这个Component的Bounds之内,于是始终pin住最高的mipmap,导致我们纹理流送池中大量纹理被驻留、无法释放。 这个问题很难处理,要说好的方案只能考虑上VT,但是VT也有VT的问题。

视锥剔除和遮挡剔除都失效,强依赖GPU Culling

另外一个问题就是在几百米的AABB Component Bounds下,视锥剔除和遮挡剔除都失效了,这个时候只能依赖GPUScene上的HZB剔除了。 这个在某种程度上增加了GPU的负荷,抵消了ISM在GPU这边的收益。

对负缩放的Component支持不完善

这个我是改了一些引擎代码才处理好:虚幻默认合并的ISM里如果有负缩放的Actor,表现会和散装的Actor不一样,光追管线下也要额外处理。而散装的Actor,引擎能正确处理负缩放,保证渲染和物理都不出问题。

一些游戏逻辑的问题

合批以后游戏逻辑就没办法取到原始的Actor了(拿到的是ISM组件),如果有些逻辑依赖原始Actor就容易出bug。

总结

其实除了纹理流送那个问题,其他的问题都能克服,但是纹理流送的问题在目前虚幻的框架下似乎是无解的。除非决定大改虚幻的流送对ISM的处理机制,改成计算离自己最近的Instance的Bounds。我还真的往这个方向努力了一下,因为这个问题是有现实意义的,比如Foliage ISM也是跨越几百米的大组件,所以好多虚幻的游戏在植被密集区域的显存都会猛涨,因为纹理都释放不掉,哪怕几百米外有棵树,纹理也pin在最高级。

最后还是决定少改,毕竟流送系统这东西改出bug了,一时半会也很难测出来,而且有些case永远覆盖不了。比如改成算自己最近的Instance Bound,假如有个距离很远的Instance,它的Scale特别大,就可能漏掉这个Instance,导致streaming到错误的mipmap。其他折衷的方案也总能举出反例来论证其不可行。

所以最后的结论是,ISM版的Runtime Cell Transformer也许只适合在特定场景使用。