4h ago 4小时前
Reducing High-Bandwidth Memory Bottlenecks in JAX-Based LLM Training with Host Offloading 通过主机卸载减少基于JAX的大语言模型训练中的高带宽内存瓶颈
Host offloading in JAX alleviates High-Bandwidth Memory (HBM) bottlenecks during LLM training by moving selected activations to pinned host memory, en... JAX中的主机卸载技术通过将激活值移至固定主机内存并流回，显著缓解了LLM训练中的HBM瓶颈。
在NVIDIA Grace Blackwell和Vera Rubin平台上，得益于高带宽NVLink-C2C互连，该技术能有效支持更大的模型、批次和序列配置。
结合延迟隐藏调度器(LHS)和流水线传输，M...
LLM 大模型 Training 训练 GPU GPU Chip 芯片
5h ago 5小时前
Kernel Fusion in NVIDIA CUDA: Optimizing Memory Traffic and Launch Overhead NVIDIA CUDA中的内核融合：优化内存流量和启动开销
Kernel fusion combines multiple GPU operations into a single kernel, eliminating the need for intermediate results to be written to and read from glob... Kernel Fusion通过将多个GPU操作合并为单个内核，消除中间结果在全局内存中的读写往返，从而显著降低内存带宽压力。
手动融合内核可将`sum(abs(x))`示例的执行时间从3.51ms降至1.18ms，实现3倍加速，并将全局内存传输量减少至原来的三分之一。
该技术通过让中间计算结果保留在...
GPU GPU Programming 编程
5h ago 5小时前
AI Model Co-Design: Hardware-Friendly LLM Design AI模型协同设计：硬件友好的大语言模型设计
Hardware-aware transformer design requires near-square linear layer dimensions aligned to GPU tile sizes (multiples of 128, ideally 256 or 512) to max... 硬件感知的Transformer设计需确保线性层维度接近正方形，并对齐GPU Tile大小（128的倍数，理想为256或512），以最大化算术强度。
NVIDIA NVFP4量化配合TensorRT Model Optimizer和LLM Compressor工具链，能在保持精度的同时显著提升Bla...
LLM 大模型 Inference 推理 Quantization 量化 GPU GPU Deployment 部署
6h ago 6小时前
Fine-tune NVIDIA Nemotron 3 models with Amazon SageMaker AI serverless model customization 使用亚马逊 SageMaker AI 无服务器模型定制微调 NVIDIA Nemotron 3 模型
Amazon SageMaker AI introduces serverless model customization for NVIDIA Nemotron 3 models, eliminating the need for infrastructure provisioning and m... AWS SageMaker AI 推出针对 NVIDIA Nemotron 3 模型的无服务器模型定制功能，支持 Nemotron 3 Nano (30B/3B激活) 和 Super (120B/12B激活)。
该功能支持监督微调 (SFT)、可验证奖励强化学习 (RLVR) 和 AI 反馈强化学习...
LLM 大模型 Fine-tuning 微调 Open Source 开源 Deployment 部署
6h ago 6小时前
Real-time dental image verification with Amazon SageMaker AI at Henry Schein One 在Henry Schein One使用Amazon SageMaker AI进行实时牙科图像验证
Henry Schein One developed "Image Verify," an AI-powered system using Amazon SageMaker AI to assess dental X-ray quality in real-time at the point of ... Henry Schein One利用Amazon SageMaker AI构建Image Verify系统，实现牙科X光片拍摄时的实时质量验证，解决因图像质量问题导致的保险拒付痛点。
系统从概念到部署仅耗时数月，已覆盖超10,000个诊所，处理超1100万张X光片，周处理量达150万张，并计划扩展至...
Healthcare AI 医疗AI Deployment 部署 Image Generation 图像生成
6h ago 6小时前
Build a semantic layer for agentic AI on AWS with Stardog and Amazon Bedrock AgentCore 使用 Stardog 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
Introduction of "Agentic Analytics" where autonomous AI agents reason over live enterprise data rather than just retrieving static text.
Implementatio... 提出“代理式分析”概念，利用生成式AI代理自动规划、查询和迭代企业数据，替代传统人工分析师瓶颈。
构建基于Stardog语义层与Amazon Bedrock AgentCore的架构，实现跨Amazon Aurora和Redshift的数据统一查询，无需ETL过程。
解决基础模型在碎片化企业数据中产...
Agent Agent Deployment 部署 LLM 大模型
7h ago 7小时前
Scaling agentic workflows with native case management in Amazon Quick Automate 使用 Amazon Quick Automate 中的原生案例管理扩展智能体工作流
Amazon Quick Automate introduces native case management to address scalability challenges in enterprise AI agent workflows.
The system treats every wo... Amazon Quick Automate引入原生案例管理功能，解决AI智能体在企业级大规模生产环境中的状态追踪与并发处理挑战。
每个工作项被表示为持久化的“案例”，提供从创建到解决的完整生命周期可见性，支持并行执行以动态扩展基础设施。
系统内置人类介入（HITL）、异常处理、细粒度访问控制和活动日...
Agent Agent Deployment 部署 Product Launch 产品发布
7h ago 7小时前
Deploying quantized models on Amazon SageMaker AI with Unsloth 使用 Unsloth 在 Amazon SageMaker AI 上部署量化模型
Unsloth's dynamic quantization reduces model size significantly (e.g., 1.5TB to 217GB) while minimizing accuracy degradation (only 14% loss) by select... Unsloth动态量化技术通过分层精度分配，在大幅压缩模型体积的同时保持高准确率，显著降低推理成本。
文章提供了四种在AWS上部署量化模型的方案，涵盖EC2、SageMaker AI、EKS及ECS，适配不同运维需求。
部署策略遵循“工件驱动设计”原则，根据GGUF或Merged Safetenso...
LLM 大模型 Quantization 量化 Deployment 部署 Inference 推理 GPU GPU
7h ago 7小时前
How KTern.AI built agentic AI for SAP on Amazon Bedrock AgentCore KTern.AI如何在Amazon Bedrock AgentCore上为SAP构建代理式AI
KTern.AI migrated from a self-managed container stack to Amazon Bedrock AgentCore to enable enterprise-scale agentic AI for SAP transformations.
The s... KTern.AI利用Amazon Bedrock AgentCore和Strands Agents SDK构建企业级SAP转型智能体平台，实现从传统SaaS向Agentic AI的演进。
通过AgentCore解决持久化上下文、安全工具集成、多租户隔离及动态扩展等核心挑战，无需定制基础设施代码即可部...
Agent Agent Deployment 部署 LLM 大模型
7h ago 7小时前
Disaggregated prefill and decode for LLM inference on SageMaker HyperPod 在 SageMaker HyperPod 上对 LLM 推理进行解耦预填充与解码
Disaggregated Prefill and Decode (DPD) separates compute-bound prefilling and memory-bound decoding onto distinct GPU pools to eliminate interference ... 提出分离式预填充与解码（DPD）架构，将计算密集型预填充与内存密集型解码阶段隔离至独立GPU池，消除长上下文请求对并发生成的阻塞。
基于Amazon SageMaker HyperPod实现，利用vLLM、LMCache及EFA RDMA网络构建四层KV缓存传输栈，实现毫秒级跨节点数据移动。
引入智...
LLM 大模型 Inference 推理 GPU GPU Deployment 部署
9h ago 9小时前
Accelerating End-to-End Co-Folding Performance with NVIDIA BioNeMo Agent Toolkit 使用 NVIDIA BioNeMo Agent Toolkit 加速端到端共折叠性能
NVIDIA’s BioNeMo Agent Toolkit provides end-to-end acceleration for biomolecular structure prediction, integrating GPU-based MSA generation, optimized... NVIDIA BioNeMo Agent Toolkit 实现了生物分子结构预测流水线的全栈加速，集成 MMseqs2-GPU、cuEquivariance 和 Fold-CP 等关键技术。
MMseqs2-GPU 在 Hopper/Blackwell 架构上比 CPU JackHMMER 快达 1...
GPU GPU Inference 推理 Deployment 部署 Research 科学研究 Healthcare AI 医疗AI
1d ago 1天前
Synthetic Data Generation for Financial AI Research with NVIDIA NeMo 使用NVIDIA NeMo为金融AI研究生成合成数据
An iterative generation-deduplication pipeline successfully created 502,536 unique financial news headlines across 13 categories, addressing the sever... 提出了一种基于迭代生成与全局去重的合成数据构建流水线，解决了金融新闻数据稀缺及类别分布不均的问题。
利用 NVIDIA NeMo Data Designer、NeMo Curator 和 Nemotron-3-Nano-30B-A3B 模型，在单节点 B200 上高效生成了 502,536 条独特金...
Dataset 数据集 GPU GPU Finance AI 金融AI Training 训练 Deployment 部署