图片工作流 · 来源整理与实用步骤

用 SAM 3.1 抠家具图,再让 Muse Image 补缺口

用 Meta Model API 的 SAM 3.1 找出家具像素边界,再把透明抠图与生成式修补分成两个任务,检查边缘、木纹和商品细节。

适用场景:从一张梳妆柜照片做透明底商品图,并另存一版补好被遮挡桌面的展示图。

核验于 2026.10.01主要来源:Meta Model API SAM overview8 分钟阅读
开始阅读 ↓下一篇 →
家具原图经 SAM 3.1 得到二值掩膜,再分别制作透明抠图和生成式修补版本的流程封面
原创流程封面。SAM 掩膜与生成式补图是两项不同的工作。

这篇指南聚焦“SAM 3.1”。下面把问题拆成容易跟做和复查的步骤。

01|先分清要交付哪一种图

家具照片常有两种麻烦。想把柜子放进商品目录,通常要一张背景透明的抠图;桌面被物件挡住或缺了一块,则要补出看起来连贯的木面。这两个结果不能混作一张图验收。

Meta 的 SAM 3.1 文档说明它会根据短物体名称,在图片里返回边框和像素掩膜。Muse Image 的 API 文档则说明它接收图片与编辑指令,返回新的图像。下面按官方接口资料整理,没有用个人 Meta 账号实测。

从原图副本开始,分别通过 SAM 掩膜输出透明抠图,以及用 Muse Image 单独生成修补版本
原创步骤图。保留原件,抠图和修补分开保存。

02|准备一张能看清轮廓的原图

先复制原图,不要直接覆盖相机原件。选一张柜体边缘和背景有对比、四条腿没有被画面裁掉的照片。桌上小摆件、纸张和把手都可能被误并进掩膜,所以先记下这张图里哪些东西应保留。

记下原图的实际宽高,并保留未经缩放的副本。SAM 输出会给源图尺寸,掩膜也有自己的栅格尺寸;官方示例中的掩膜栅格比整张源图小。合成时要用对应物体的边框与掩膜数据,将它映回源图画布,不能把掩膜栅格直接当成和整张照片同尺寸的一张图。

03|让 SAM 只找一个清楚的对象

如果你想从 Muse 聊天里发起连接器,可以先让 Muse 依据 Meta Model API 官方文档规划连接方式和要用的权限。Meta 的安全说明写到 Muse 可以为有 API 或 CLI 的服务编写自定义连接器,凭据会放进安全凭据存储。创建入口与能力以你当前客户端显示为准;帮助中心写的常规连接器菜单,不等于每个账号都能创建任意连接器。

可以先把这段交给 Muse 规划连接器。请阅读 Meta Model API 的 SAM 3.1 与 Muse Image 官方接口说明,提出一个调用这两个服务的自定义连接器草案。提供两个分开的动作,一个只分割我选中的单张图片并返回掩膜预览,另一个只在我指定的图片副本上尝试编辑。请列出将用到的模型名、API 端点、数据发送位置和权限。在我审阅草案前不要发送图片或执行真实请求。需要 API key 时,请通过 Muse 的安全凭据录入界面保存 MODEL_API_KEY,只在服务请求时读取;不要让我把密钥发进聊天、配置明文或截图。

Meta Model API 的 SAM 3.1 通过 Responses API 调用,模型名是 sam-3.1,图像请求要带一个 input_image 和简短的 input_text。官方建议用具体名词,一次说一个概念。可以先试 wooden dresser,不要把柜子、手机、托盘和房间背景塞进同一句。

运行前先在 Meta Model API 控制台生成 API key。官方安全说明建议把密钥放在环境变量或密钥管理器里,不能写进网页前端、代码仓库或截图。若你通过自建连接器接 API,就从连接器的安全凭据存储读取密钥;X 作者展示的个人连接器只是一个例子,不能据此认定 Muse 普通账户都有相同功能。

04|先看掩膜,再动原图

SAM 返回的掩膜在输出文本里编码,官方 @meta-sam/parser 库可以把它解析成每个像素为 0 或 1 的二值栅格。这个栅格表示哪里属于目标物体,它本身不是已经带透明通道的 PNG。

先用 Meta 提供的 @meta-sam/graphics 预览库,或能按源图边框放置掩膜的工具,把掩膜叠回原图检查。柜脚、薄把手、桌面边缘和深色阴影尤其容易漏选;相邻地板、桌上小物件和柜子后面的墙面也可能被误选。若轮廓不对,换更具体的对象词再请求,或单独处理漏掉的小部件。确认掩膜位置无误后,再把物体外区域转成透明的图层蒙版。

05|透明抠图要逐处放大验收

把蒙版合成到原尺寸图片后,导出支持透明通道的 PNG,再在浅色和深色底上各看一次。检查柜脚是否完整,金属拉手有没有被咬掉,木柜边缘有没有残留原背景的白边或地板色。缩略图看着整齐,不代表边缘经得起放大。

掩膜要再经过本地合成才会成为抠图文件。SAM 官方资料写的是返回掩膜和边框,没有说服务会直接给你最终透明 PNG。若团队使用的图像工具不能把掩膜做成 alpha 蒙版,就先把掩膜交给支持图层蒙版的本地图片编辑器处理。

发布前再看一次成品元数据里的像素宽高,确保透明底输出仍满足商品图需要。掩膜映回源图以后,导出的文件应和原图画布一样大;缩放或裁切是另外一项编辑。

06|补木面时另开一个生成版本

需要修补桌面缺口时,复制原图或已确认的抠图版本,再单独调用 Muse Image 编辑接口。Meta 文档列出的模型名为 muse-image-1.0,图像编辑端点是 /v1/images/edits;编辑指令可以写清只补哪一块,并描述周围木纹、光线和柜体结构。

可用这段指令起步。请只补齐桌面上被遮挡或缺失的木质区域,参考相邻木纹方向、颜色和光线。保留柜体、抽屉、五金件、相机角度和画面构图。不要新增摆件,也不要改动家具其他部分。

官方资料称模型会按指令编辑,但图像生成有随机性;结果也可能重画未点名的区域。API 的图片输出背景字段固定为不透明,所以不要把这一步当成透明底抠图接口,也不要把新补的纹理说成家具原本就有的细节。

07|拿原图对照形状和纹理

把补图和原图并排看,重点核对柜体比例、抽屉数量、拉手位置、桌沿厚度、透视方向和阴影。生成模型能画出视觉上连贯的木纹,不代表它恢复了被挡住的真实纹路。若画面要用于二手商品或库存记录,保留未修补原图,并在需要时向读者说明图片经过生成式修补。

如果只动桌面却连把手、柜边也变了,撤回这版,用更小的修改范围再试一次。满意的版本另存新文件名,不要覆盖源照片。

08|交付时保留三份文件

整理文件时至少保留原图、带透明背景的抠图、生成式补全版本。文件名里写明对象、用途和版本,例如 dresser-source.jpg、dresser-cutout-v1.png、dresser-repair-v1.png。记录模型版本、原图尺寸、掩膜复核人以及补全区域,之后才知道哪一份可以当商品主图。

SAM 掩膜适合描述物体边界;Muse Image 适合尝试生成图像修改。先分别检查两种结果,再决定是否使用。商品真实外观、边缘干净程度和补出来的纹理都要由人看过,模型完成一次请求不等于成品验收通过。

一位作者分享 SAM 3.1 从梳妆柜照片分出柜体、物件与透明区域的个人示例截图
图源 @nikhilaravi,公开演示。

09|看一次真实流程示例

另一张作者公开截图接着展示了单独补齐柜面,再发现柜脚漏掉后重新分割并修正的过程。它说明人需要回看轮廓和生成结果,也提醒我们把漏掉的小部件单独检查。这个个人演示不构成每个账户、连接器或输入图片都能复现相同结果的保证。

同一作者展示 Muse Image 补齐木质柜面并发现柜脚仍需修正的过程截图
图源 @nikhilaravi,公开演示。

参考来源

以下资料用于核对本文中的产品信息。Musevip 为独立中文指南,与 Meta 无隶属关系。

  1. [1] Meta Model API SAM overview
  2. [2] Meta SAM client libraries and mask decoding
  3. [3] Meta Model API segmentation output
  4. [4] Meta Model API Muse Image editing
  5. [5] Meta Model API API key safety
  6. [6] How Muse works with Connectors
  7. [7] Meta approach to Muse security and safety
  8. [8] Meta Muse Image announcement
本文最后核验于 2026.10.01。产品页面可能更新。