论文精读｜From Review to Refine: A Multi-Agent System for Structured Academic Paper Refinement(AgRefine)

原文连接：https://ieeexplore.ieee.org/document/11352745

一、论文基础信息

1. 论文名称：From Review to Refine: A Multi-Agent System for Structured Academic Paper Refinement
2. 发表会议：2025 IEEE International Conference on Agentic AI (ICA)
3. 所属领域：大语言模型、多智能体（Multi-Agent）、学术写作辅助、论文精细化润色
4. 核心模型：AgRefine（面向学术论文专属迭代润色的多智能体框架）
5. 骨干模型：DeepSeek-R1（润色主体）、gpt-4o-mini（评审模块）

二、研究背景

2.1 现状

目前大语言模型已广泛用于学术写作，例如语法纠错、语句润色、摘要生成、全文改写。相比于从零生成内容，论文润色（Refinement） 安全性更高、可控性更强，核心原则：不改原文语义，只优化表达，非常适合科研人员使用。

2.2 现有方案三大致命缺陷

1. 仅停留在浅层优化：目前所有润色工具（GPT、文心一言、XtraGPT）只能优化语法、句式、用词，无法识别段落逻辑断层、结构跳跃、论证缺陷；
2. 缺少迭代闭环机制：真实科研写作是「反馈—修改—再反馈—再修改」多轮迭代过程，现有LLM全部为单次生成（Single-pass），无法模拟真实论文返修流程；
3. 任务混杂、无角色分工：传统模型将结构优化、语言润色、质量评估全部塞进同一个Prompt，长文本下注意力分散、任务互相干扰，容易出现乱改、误删、私自新增结论等问题。

2.3 研究目的

作者团队希望搭建一套基于评审反馈、多智能体协同、可迭代、结构化的论文润色系统，模拟人类审稿人+作者的真实返修流程，提升论文清晰度、逻辑性、学术规范性。

三、核心创新点

1. 提出三智能体解耦架构：将复杂的论文润色任务拆分为「规划+润色+评审」三个独立专家Agent，各司其职，解决长文本注意力分散问题；
2. 首创Review-Guide迭代润色闭环：以评审意见为驱动，多轮迭代优化，而非一次性改写，完全复刻真实学术返修流程；
3. 结构化细粒度修改：所有修改全部下沉到句子级别，支持替换/新增/删除，强制保留原始语义，禁止私自新增实验、私自篡改结论；
4. 完善的约束机制：强约束防止模型随意改写、过度润色、删除关键数据，让改写全程可控、可追溯、可回滚。

四、AgRefine整体架构

4.1 Revision Planner（修订规划智能体）

整个系统的执行发起者，核心职责：翻译审稿意见，生成可执行修改方案

1. 将整篇论文按照章节、逻辑进行切片；
2. 接收Reviewer评审意见，定位需要修改的具体句子；
3. 输出结构化修改单元：{原句、操作类型、修改内容、对应评审意见}；
4. 添加多重硬约束：禁止新增事实、禁止修改标题、禁止新增图表、禁止无理由删除内容；
5. 支持段落级版本回滚，全程记录Change Log。

4.2 Language Expert（语言优化智能体）

系统的执行者，专门负责表层学术润色：

1. 语法纠错、标点修正、语句流畅度优化；
2. 将口语化、模糊化语句替换为严谨学术表达；
3. 优化段落内部逻辑流转，理顺长难句；
4. 硬性红线：绝对禁止改动论文核心数据、实验结论、创新点。

4.3 Iteration Reviewer（迭代评审智能体）

系统的调度者与质检员，整个迭代闭环的核心：

1. 依据顶会评审标准，从7大维度对全文打分；
2. 判断当前论文是否达标：达标则终止迭代，未达标下发新一轮修改指令；
3. 能够精准判断：需要结构优化 / 语言优化 / 双重优化；
4. 输出结构化评审结果：是否终止、缺陷位置、修改建议、现存局限性。

五、结构化迭代运行流程

1. 全局评审：Reviewer对原始论文进行全方位评审，输出缺陷清单；
2. 任务下发：根据缺陷类型，交由Planner或Language Expert处理；
3. 精细化修改：Planner生成句子级修改计划，Expert完成语言润色；
4. 全文重组：将修改后的章节重新整合为完整论文；
5. 迭代判定：Reviewer重新评审，最多迭代三轮；
6. 终止输出：达到最优分数 / 达到最大迭代轮次，输出最终版本。

六、实验部分

6.1 实验环境

1. 基底模型：DeepSeek-R1（润色）、gpt-4o-mini（评审）
2. 数据集：100篇ICLR2022真实投稿论文（含录用/拒稿样本）
3. 评审数据：AI Scientist自动生成+真实OpenReview审稿意见微调
4. 超参数：润色最大迭代3轮；评审温度0.1；润色温度0.7

6.2 对照组基线模型

DeepSeek-R1、Gemini-2.0-flash、Qwen3-235B、Grok-3-mini

6.3 评价方式

1. Win Rate成对对比：LLM-as-Judge评判AgRefine与基线模型润色效果；
2. 七大维度打分：原创性、质量、清晰度、研究意义、严谨性、排版、贡献度；
3. 消融实验：验证迭代轮次、Agent角色对最终效果的影响。

6.4 实验结果

1. AgRefine在所有基线模型中胜率最高，整体润色效果显著优于单模型润色；
2. 经过三轮迭代后，论文综合评分从4.47提升至4.99，清晰度、贡献度提升最明显；
3. 消融实验结论：
   • 迭代轮次越高，润色效果越好，但三轮后收益递减；
   • 单一Agent效果极差，双Agent协同才是性能核心，缺一不可。

七、相关工作对比

1. 传统单模型润色（XtraGPT、LongWriter）：仅支持单次改写，无迭代、无角色拆分、无质量审核；
2. 通用多智能体（MetaGPT、AutoGPT）：偏向通用任务拆解，无专门针对论文返修的迭代机制；
3. AgRefine创新：业内首个评审驱动+多轮迭代+角色解耦的学术论文专用多Agent润色框架。

八、论文不足与未来展望

8.1 局限性

1. 当前仅面向英文学术论文，暂不支持中文、行业标准、专利文档；
2. 迭代次数增加会带来较高的推理成本；
3. 目前无法对接真实人类审稿系统，仅适用于作者自主预润色。

8.2 未来工作

1. 拓展多语种、多领域适配（中文论文、专利、报告）；
2. 接入真实顶会Peer Review系统；
3. 优化迭代剪枝算法，降低推理成本。