1d ago 1天前
L-FNO: Lorentzian Fourier Neural Operator for Stochastic Event Dynamics L-FNO:用于随机事件动力学的洛伦兹傅里叶神经算子
L-FNO is a stochastic neural operator that reframes neural operators from regression-style function-to-function models to conditional-intensity estima... 提出L-FNO(Lorentzian Fourier Neural Operator),一种专为随机事件动力学设计的新型神经算子
结合FNO协变量路径、Lorentzian谱核(捕捉历史依赖激发)和基于似然的训练目标,突破传统回归式神经算子的局限
在8个合成点过程基准和3个真实世界数据集(疾病爆发预...
Research 科学研究 Training 训练 Dataset 数据集
1d ago 1天前
Don't Claim Benchmark-Oriented Optimization Improves General Coding Capability -- Diverse Evaluation Is Required 不要声称面向基准的优化能提升通用编程能力——需要多样化评估
Benchmark scores on narrow coding evaluations (SWE-bench, LiveCodeBench) are frequently misused as proxies for general coding capability, creating a s... 后训练优化SWE-bench等少数编码基准无法泛化为一般编码能力,存在"意义差距"
在SWE-bench轨迹上后训练的模型检查点几乎无跨任务迁移能力,优化收益有限或为零
单一基准排名无法可靠预测模型在多样化任务上的表现,现有评估体系存在严重缺陷
建议建立差异化评估框架:前沿模型用整体评估、研究用多任...
LLM 大模型 Code Generation 代码生成 Benchmark 基准测试 Evaluation 评测 Fine-tuning 微调
1d ago 1天前
Robust XGBoosting for Regression 鲁棒XGBoost回归
Standard XGBoost with quadratic loss is vulnerable to vertical outliers and leverage points, degrading prediction performance
The paper explores alter... XGBoost的预测性能会受到垂直异常值和杠杆点的显著影响
研究探索了基于M-、S-和τ-估计量的替代损失函数以提升模型稳健性
MM-XGBoost两步过程在稳健性和预测准确性之间提供了最佳权衡
Research 科学研究 Programming 编程
1d ago 1天前
Training-Free Knowledge Transfer Across Model Scales through Activation-Guided Pruning 通过激活引导剪枝实现无需训练的跨模型规模知识迁移
APM (Activation-Prune-Merge) enables training-free cross-scale model fusion by using activation-guided pruning to extract salient components from a la... 提出APM(Activation-Prune-Merge)框架,实现无需训练的跨尺度模型知识迁移
通过任务条件激活图选择捐赠模型的关键层、隐藏维度、注意力头和MLP神经元,剪枝至接收模型架构
在16个基准测试上,3B接收模型平均准确率从55.5%提升至60.6%
证明无需显式神经元语义对齐,通过激活...
Research 科学研究 Training 训练 LLM 大模型
1d ago 1天前
Hard Cases, Bad Labels: Testing Error Exposure and Error Location in Uncertainty Sampling Under Bounded Label Noise 困难案例与错误标签:测试有界标签噪声下不确定性采样中的错误暴露与错误定位
Uncertainty sampling improves label efficiency under clean labels, boosting normalized balanced-accuracy AUC by 1.09–1.77 percentage points across thr... 研究检验不确定性采样在标签噪声下的失效机制:是获取了更多损坏标签,还是错误集中在困难区域更有害
干净标签下,不确定性采样在所有三个数据集上提升平衡准确率1.09-1.77个百分点,证明其标签效率
难度依赖噪声在Breast Cancer Wisconsin上削弱优势的程度超过随机噪声,但在Bankn...
Research 科学研究 Dataset 数据集 Training 训练 Evaluation 评测
1d ago 1天前
Robust Dual-Model Collaborative Random Vector Functional Link Network 鲁棒双模型协作随机向量函数链接网络
The paper proposes KRPRVFL (Kernel Risk-Sensitive Mean p-Power based RVFL), a robust variant of Random Vector Functional Link networks that replaces s... 提出KRPRVFL模型,将RVFL网络的计算效率与KRP准则的鲁棒性相结合,解决噪声标签、异常值和不平衡数据问题
用KRP损失函数替代标准最小二乘目标,自适应降低噪声样本影响,提升训练稳定性和泛化能力
引入协作学习机制,实现模型组件间的自适应交互,增强复杂噪声环境下的鲁棒性
采用核诱导特征映射捕捉非...
Research 科学研究 Training 训练
1d ago 1天前
Contrastive Learning for Interpretable Anomaly Detection at Collider Experiments 对比学习用于对撞机实验的可解释异常检测
ORCA (Organized Representation via Contrastive learning for Anomaly detection) is a two-stage framework combining supervised contrastive learning with... 提出ORCA框架,结合监督对比学习与自编码器,解决对撞机物理中异常检测分数难以解释且与能量尺度强相关的问题
在HL-LHC模拟数据集上验证,相比基线自编码器在广度和深度上均显著提升对新物理信号的敏感度
通过对比嵌入空间实现可解释性:已知物理过程占据不同区域,最大似然模板拟合可量化归因异常事件并估计不...
Research 科学研究 Training 训练 Embedding Model 嵌入模型
1d ago 1天前
The Query Knows What to Forget: A Second Erase Direction for Linear Attention 查询知道该遗忘什么:线性注意力的第二种擦除方向
Linear attention models like GDN-2 derive erase vectors solely from token keys, creating a fundamental mismatch since retrieval interference is measur... 线性注意力在长上下文场景中存在状态干扰问题,现有delta规则模型(如GDN-2)的擦除向量仅从key派生,无法消除query测量的干扰
提出Query-derived Erase Direction (QED),引入第二个从query派生且与key正交的擦除方向
在fast-weight视角下,k...
Research 科学研究 LLM 大模型 Training 训练
1d ago 1天前
From BERT to Frontier Agents: Eight Years of Language-Model Progress, the Collapse of the Capability-Cost Curve, and the Rise of Task-Targeted Models 从BERT到前沿智能体:语言模型八年的进展、能力-成本曲线的坍塌与任务定向模型的崛起
AI models evolved from simple systems like BERT (2018) to massive frontier agents capable of complex math and software development by mid-2026
Real-wo... 从2018年BERT到2026年前沿Agent,语言模型八年演进实现从简单系统到复杂数学与软件工程能力的跨越
自2024年底以来,AI解决真实编码问题的能力每年提升近6倍,能力增长加速
OpenAI GPT 5.6 Luna以每百万token 1-6美元成本匹配旗舰能力,能力-成本曲线急剧崩塌
顶级...
LLM 大模型 Agent Agent Research 科学研究 Training 训练 Code Generation 代码生成
1d ago 1天前
EEG-PRISM: Physiologically-Grounded Interpretability of Predictions by EEG Foundation Models EEG-PRISM:基于生理学的EEG基础模型预测可解释性
EEG-PRISM is a post-hoc interpretability method that maps time-channel attribution scores from EEG foundation models into physiologically meaningful f... 提出EEG-PRISM方法,可将EEG基础模型的归因分数从时间-通道空间映射到频率域和源域
通过可逆DFT和近似可逆EEG生成模型实现跨域映射,无需修改或重新训练基础模型
在模拟数据中实现近乎完美的频谱恢复和69.2%空间准确率
在癫痫数据中正确识别delta-theta活动为最显著特征,并以50%...
Research 科学研究 Healthcare AI 医疗AI Evaluation 评测
1d ago 1天前
SAGE: Surrogate-gradient Adaptation via Attention-Guided Entropy for Spiking Transformers SAGE:基于注意力引导熵的脉冲Transformer替代梯度自适应方法
SAGE introduces an uncertainty-modulated surrogate-gradient mechanism for Transformer-based Spiking Neural Networks (SNNs), addressing the suboptimali... 提出SAGE方法,通过自注意力熵估计块级不确定性,动态调整脉冲Transformer的代理梯度斜率
仅修改训练时的代理参数,推理模型架构和部署成本保持不变
在CIFAR-10/100上相比固定代理梯度基线实现1-2%的准确率提升
验证了注意力导出的不确定性作为轻量级训练信号的有效性
Research 科学研究 Training 训练 GPU GPU
1d ago 1天前
Capacity-Dependent Effects of Data Selection for Reasoning 容量依赖的数据选择对推理的影响
Likelihood-based data selection for reasoning SFT is not universally optimal; its effectiveness depends critically on model capacity and training dura... 高似然数据对小模型提供更快更稳定的早期改进,但低似然数据对大模型在更长训练时间下更有利
研究发现推理微调中存在容量依赖的"Fast-Fit / Slow-Gain"模式,挑战了"高似然数据总是最优"的假设
小模型难以吸收低似然监督信号,容易陷入浅层或重复行为,而大模型能更好地向教师分布迁移
数据难度...
Research 科学研究 Fine-tuning 微调 Dataset 数据集 LLM 大模型 Training 训练