AirLLM enables running large language models (70B parameters) on consumer-grade GPUs with as little as 4GB of VRAM through innovative offloading and q... AirLLM 通过创新的卸载和量化技术，使消费级 GPU 仅需 4GB 显存即可运行大型语言模型（700 亿参数） 该技术已扩展至 Apple Silicon，据报道 Qwen3.8-27B 仅需 3.33GB 统一内存即可运行 理论上，配备 16GB 统一内存的 Mac Mini M4 应能运行更...

Simple text file storage combined with grep-based search outperformed funded vector database memory tools on their own benchmark The finding challenge... 简单文本文件加grep搜索在基准测试中击败了有资金支持的AI记忆工具 向量数据库并非所有agent场景的必要选择 低成本方案在某些情况下可能比复杂方案更有效

Structure-first retrieval (TOC, corpus index, expert keywords) should precede embeddings in enterprise RAG pipelines, with vector stores serving as a ... 企业级RAG应采用"结构优先"检索策略：文档目录、索引和专家关键词处理大部分查询，向量嵌入仅作为最后兜底 专家维护的同义词词典在解决企业专有术语、内部产品代码和歧义问题上，比任何嵌入模型（包括微调模型）都更可靠 重排序器是辅助工具而非核心组件，仅在候选集较大且上游检索质量不足时才发挥作用 答案模式（...

A €803 LLM inference rig built from nine-year-old legacy hardware (dual TITAN Xp, Xeon E5-2697 v2, DDR3) achieves roughly half the generation speed of... 使用€803的废弃旧硬件（含9年前的TITAN Xp显卡）可构建本地LLM推理设备，性能约为€2,392新设备的50-70% TITAN Xp的547 GB/s内存带宽超越RTX 4070（504 GB/s）和5060 Ti（448 GB/s），使dense模型在旧卡上表现优于预期 显示器线缆连接错...

Claude Code can serve as a terminal-based QA automation agent when equipped with browser tools (Playwright MCP/CLI) and project-specific context via /... Claude Code通过/init命令读取仓库结构，结合MCP工具和skill.md文件可关闭QA自动化中的"上下文差距" Playwright MCP/CLI作为浏览器控制工具，配合Page Object模式可生成可维护的自动化测试脚本 生成的选择器和凭证必须经过人工审查，不能直接合并到代码库 ...

Standard chat-oriented LLM runtimes fail when applied to live robot cameras due to unbounded VRAM growth, silent deadline misses, and frequency mismat... 将聊天导向的LLM运行时直接对接机器人实时相机面临三大致命问题：VRAM因无限视觉流持续溢出、控制循环截止时间被静默错过、60Hz相机输出远超推理速度 vla-edge-backend提出了一套面向边缘机器人的手写CUDA推理运行时，核心创新包括：基于指数移动平均的准入控制器、按语义冗余度（余弦相似...

LLM inference optimization is categorized into model-level, inference service-level, and hardware-level approaches, with this article focusing on mode... LLM推理优化分为模型级、推理服务级和硬件级三层，本文聚焦模型级优化（压缩、量化、蒸馏、剪枝） 量化是最经济有效的优化手段，可将FP32/FP16降至INT8/INT4甚至FP4/1-bit，同时提升推理速度 KV cache随上下文长度线性增长，128K上下文下可超150GB，甚至超过70B模型权...

DFlash speculative decoding is now supported in vLLM v0.25.0 for CPU inference, enabling lossless acceleration without changing model output distribut... DFlash是Z Lab开发的投机解码方法，通过块扩散草稿模型和目标模型KV特征注入，实现CPU上LLM推理的无损加速 vLLM v0.25.0已支持CPU版DFlash，在Qwen3.5-9B模型+Intel Xeon 6处理器的AWS r8i实例上，单并发吞吐量提升3.92倍 投机解码通过草稿模...

LLM-driven clinical agents can silently corrupt FHIR MedicationRequest payloads by dropping metric prefixes (e.g., "micrograms" → "mg"), causing up to... LLM在将临床对话转换为FHIR MedicationRequest JSON时，因概率性token预测常简化嵌套剂量结构，导致微克(ug)被静默转换为毫克(mg)，引发千倍过量风险 根因并非模型幻觉，而是序列化时的schema coercion bug与宽松API网关的联合失效——网关接受不完整p...

Google Cloud introduced the Open Knowledge Format (OKF) v0.1, an open spec for representing business knowledge as plain markdown files with YAML front... Google Cloud推出Open Knowledge Format (OKF) v0.2，一个将企业知识编码为纯markdown文件（带YAML frontmatter）的开放规范，解决AI agent上下文管理的碎片化问题 OKF采用"一个概念一个文件"设计，通过YAML frontmatte...

The bias-variance tradeoff remains a foundational concept in ML, where underfitting (high bias) and overfitting (high variance) represent opposite ext... 偏差-方差权衡是机器学习的核心原则：高偏差导致欠拟合（模型过于简单），高方差导致过拟合（模型过于复杂），目标是找到泛化能力最佳的平衡点 双重下降（Double Descent）颠覆了传统认知：当模型复杂度超过临界点后，继续增加参数反而使泛化性能提升，形成U型曲线的第二个下降阶段 模型复杂度选择具有直...

A "context type system" runtime enforces explicit typing (INSTRUCTION, EVIDENCE, MEMORY, TOOL_OUTPUT) on context objects before they are serialized in... 提出"上下文类型系统"概念，为Agent系统中的指令、证据、记忆、工具输出分配显式类型，防止类型混淆 核心机制：工具输出不能静默转换为指令，运行时在序列化前强制类型检查 实现为轻量级Python运行时，零依赖，8个测试全部通过，无LLM调用 定位为正确性和可观测性层，而非模型能力增强，解决多源RAG...