苹果机器学习研究团队发布RSI-Inference基准测试,网址为rsi-inference.com,代码托管在苹果相关GitHub仓库。该基准基于真实vLLM和SGLang任务构建环境,覆盖模型支持、推理优化和错误修复全生命周期。研究消耗价值10万美元的API Token和5万GPU小时,最强智能体在通过率@1上仅达26.7%。基准提供二元与连续可验证奖励,覆盖推理栈全面场景。
信源:https://github.com/apple-aiml-research/ml-rsi-inference-bench
