通过 Amazon SageMaker 特征存储的新功能加速机器学习特征管道

TL;DR

• Amazon SageMaker Feature Store 新增原生集成 AWS Lake Formation，支持在创建或更新特征组时自动强制执行列级、行级和单元格级的细粒度访问控制。
• 支持通过 Apache Iceberg 表属性控制元数据保留策略和快照生命周期，有效防止高频流式工作负载导致的元数据无限累积。
• 三项新特性集成于 SageMaker Python SDK v3.8.0，该版本采用模块化架构，移除了对 PyTorch 等遗留硬依赖，提升了安装速度并减小了包体积。
• 针对企业生产环境痛点，新特性解决了敏感特征数据访问的自动化治理问题，并降低了因元数据膨胀带来的不可预测的 Amazon S3 存储成本。

为什么值得看

对于在金融、医疗等受监管行业构建大规模 ML 平台的从业者而言，该更新消除了手动配置数据湖治理的运维负担，实现了“零代码”细粒度权限管理。同时，针对使用 Apache Iceberg 的团队提供了关键的成本优化手段，解决了流式数据场景下元数据爆炸导致的存储费用失控问题。

关键数据

• 50 TB / < 1 年：某零售分析团队其基于 Apache Iceberg 的离线存储在不使用元数据清理策略的情况下，不到一年内累积了超过 50 TB 的元数据文件，导致产生高额且意外的 Amazon S3 费用。
• v3.8.0 / 2026年4月16日：SageMaker Python SDK v3.8.0 的发布日期，该版本正式支持 Feature Store 的新特性，并确立了模块化、轻量级的新架构。
• 10：代码示例中 IcebergProperties 配置的一个具体参数 write.metadata.previous-versions-max 的值，用于限制保留的历史元数据版本数量以控制存储成本。

技术解析

• 原生 Lake Formation 集成机制：通过 LakeFormationConfig 参数，在 FeatureGroupManager.create() 或 update() 调用中启用。它支持混合访问模式（hybrid access mode），允许系统在特征组创建时自动注册 S3 位置并撤销默认的 IAM AllowedPrincipals 权限组，无需手动配置数据过滤器即可实现自动化的细粒度访问控制。
• Apache Iceberg 元数据生命周期管理：引入 IcebergProperties 参数，允许用户配置底层的 Iceberg 表属性。具体包括设置 write.metadata.delete-after-commit.enabled 为 true 以在提交后删除旧元数据，以及通过 write.metadata.previous-versions-max 限制保留的最大版本数，从而解决流式摄取导致的元数据膨胀问题。
• SDK v3 模块化架构优化：SageMaker Python SDK v3 重构了依赖管理，移除如 PyTorch 等沉重的遗留硬依赖。Feature Store 的 API 表面（API surface）与 v2 保持一致，确保现有代码的最小化迁移成本，同时提供了更快、更轻量的安装体验，支持从 Pandas 和 Spark DataFrame 的摄取及时间点正确的训练数据提取。

行业启示

• 数据治理前置化：企业应利用新的自动化治理能力，将数据访问控制（RBAC/ABAC）从事后审计转变为特征组创建时的默认强制配置，特别适用于合规性要求严格的金融和健康行业，以降低数据泄露风险。
• 流式 ML 的成本工程化：随着流式摄取成为主流，元数据管理已成为新的成本中心。团队需在架构设计初期即配置 Iceberg 的元数据保留策略，避免长期运行产生不可控的 S3 存储账单。

常见问题

Q: 如何为现有的特征组启用 Lake Formation 访问控制和 Iceberg 元数据优化？
A: 可以使用 FeatureGroupManager.update() 方法，通过传入 LakeFormationConfig 和 IcebergProperties 参数来更新现有特征组。这两种配置不仅可以在创建时设置，也支持对已存在的特征组进行后置应用。

Q: SageMaker Python SDK v3.8.0 的主要技术改进是什么？
A: 主要改进包括采用模块化架构，显著提升了性能，并移除了对 PyTorch 等遗留组件的硬依赖。这使得安装包更小，安装速度更快，同时 Feature Store 的核心功能（如 PutRecord, GetRecord, 数据摄取等）在 v3 中得到了完整支持。