跳到报告正文
产品实验室

实验性功能:基于Segment的高速且精确的角色编辑能力

目标是让角色局部调整更直观、等待更短,并减少连续修改后的细节漂移。进入编辑后,悬停显示部位名称与选区,支持点选;在同一视角留下多条备注,一次交由 Agent 同步修改整套七视图。本次以 Grok Segment 为体验参考,验证图像编辑与自动选区,再检查识别方案的跨角色表现。

1 以 Grok Segment 为例

鼠标移到图片中的物体或部位上,即可看到对应选区和名称。区域直接出现在图片上,让修改目标更容易表达。Storyverse 以此作为选区体验参考,再结合角色七视图和 Agent 备注完成调整。

Grok Segment 示例:人物卫衣的悬停选区与右侧部位列表

2 图像编辑模型的测评:重点观测耗时和连续修改后的内容漂移

以同一角色的七视图完成 53 次测试,覆盖改色、长发、去眉疤、抬手及连续修改。Flare 在标准 2K 改色中最快;四个模型都能完成跨视角改色,细节与轮廓仍有差异。

下表为标准 2K 改色,每模型三次的中位数。编辑耗时含生成和下载,排除首次参考上传;各模型 2K 的实际像素不同。

正在读取已完成的模型测试…

2.1 模型横向对比测试用例展示

查看原始角色参考
修改前的角色参考

2.2 连续修改后的漂移对比:连续修改VS从原图开始

同一角色连续修改三轮后,四个模型均出现面部或皮肤细节漂移。从原始图一次重放累计修改,在本例中减轻了结构变化;该能力不属于第一期范围。

四模型连续编辑与从原始版本重放的面部对照

3 Segment识别测试:耗时和准确性

比较 13 种配置、17 张来源图。在同一组七视角的 59 个参考部位中,DINO tiny 加 SAM 2.1 tiny 的框覆盖率为 84.8%,单图耗时中位数为 0.850 秒,兼顾了覆盖与速度。

3.1 不同技术选型的横向对比

耗时为本机预加载后三次运行的中位数。框覆盖率按矩形 IoU ≥ 0.5 计算;默认点选为参考点选中匹配框的比例。

路线单图耗时框覆盖率默认点选

4 上一步最优路线的泛化能力测试

用 DINO tiny 加 SAM 2.1 tiny 测试 16 个项目、32 名角色的 224 张图。单图耗时中位数为 0.881 秒,95% 的运行在 1.024 秒内完成。大部位覆盖较好,眉毛、耳朵等细部仍容易遗漏。

精度数据来自 64 张正面与肖像图的助手标注,未经人工复核。点击率采用修正后的参考点;本机预加载后的耗时不代表线上响应时间。