AI Agent 残酷共学

> 提示：核心阅读量较大，请务必提前预习。鼓励深入研读指定论文，并积极总结个人观察与思考。

Week 1: AI Agent 基础、核心能力（推理、规划与记忆）

核心议题： 理解 AI Agent 的基本概念、发展现状以及构成 Agent 智能的关键能力。

必读论文：

1. Overview & Foundations:

• Language Agents: Foundations, Prospects, and Risks (Slides) (了解LLM Agent的基本构成、潜力与风险)
• Section 1-3 of How far are we from AGI? (对AGI的探讨及LLM Agent在其中的定位)

1. Reasoning (推理):

• ReAct: Synergizing Reasoning and Acting in Language Models (经典范式：结合推理与行动)
• Tree of Thoughts: Deliberate Problem Solving with Large Language Models (通过思维树进行更复杂的推理)

1. Planning (规划):

• LLM+P: Empowering Large Language Models with Optimal Planning Proficiency (LLM与规划器结合)
• Language Agent Tree Search Unifies Reasoning Acting and Planning in Language Models (LATS框架)

1. Memory (记忆):

• Cognitive Architectures for Language Agents (认知架构视角下的Agent记忆)
• HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models (受神经生物学启发的长时记忆)

选读/辅助理解：

• Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
• TravelPlanner: A Benchmark for Real-World Planning with Language Agents

Week 2: Agent 能力拓展（多模态）、框架（工具使用、RAG、多智能体）与评估

核心议题： 探索 Agent 在多模态理解方面的能力，学习构建和增强 Agent 的关键框架，并了解如何评估 Agent 的性能。

必读论文：

1. Multimodal Understanding (多模态理解):

• Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs (多模态LLM的视觉短板)
• VisualWebArena: Evaluating Multimodal Agents on Realistic Visually Grounded Web Tasks (多模态Agent在真实网络任务上的评估)

1. Tool Use (工具使用):

• ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs (让LLM掌握大量真实API)
• Gorilla: Large Language Model Connected with Massive APIs (LLM与大规模API的连接)

1. Retrieval-Augmented Generation (RAG - 检索增强生成):

• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity (自适应RAG)
• Corrective Retrieval-Augmented Generation (纠正性RAG)

1. Multi-Agent Systems (多智能体系统):

• AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation Framework (通过多智能体对话构建应用)
• CAMEL: Communicative Agents for "Mind" Exploration of Large Language Model Society (探索LLM社会性的交互式智能体)

1. Agent Evaluation (Agent评估):

• Autonomous Evaluation and Refinement of Digital Agents (数字Agent的自主评估与改进)
• Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference (基于人类偏好的LLM评估平台)

选读/辅助理解：

• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection
• What Are Tools Anyway? A Survey from the Language Model Perspective
• Improving Factuality and Reasoning in Language Models through Multiagent Debate

Week 3: Agent 应用、挑战与未来展望

核心议题： 了解 AI Agent 在不同领域的具体应用，深入探讨其面临的关键挑战（如数据、安全、对齐），并展望其向 AGI 发展的路径。

必读论文：

1. Agent Application (Agent应用):

• Auto-research: ResearchTown: Simulator of Human Research Community (模拟人类研究社区)
• Coding Agents: If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents (代码如何赋能LLM作为智能体)
• Social Agents: Generative Agents: Interactive Simulacra of Human Behavior (可交互的人类行为模拟)
• Gaming Agents: Voyager: An Open-Ended Embodied Agent with Large Language Models (开放式具身智能体)

1. Challenges from Agents to AGI (从Agent到AGI的挑战):

• Data: BAGEL: Bootstrapping Agents by Guiding Exploration with Language (通过语言引导探索来引导Agent)
• Safety:
• Universal and Transferable Adversarial Attacks on Aligned Language Models (对对齐语言模型的通用和可迁移对抗攻击)
• DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models (GPT模型可信度的综合评估)
• Alignment:
• Training Language Models to Follow Instructions with Human Feedback (RLHF经典论文)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model (DPO)

1. Future Perspectives & Broader Impact:

• Section 4-7 of How far are we from AGI? (再次回顾AGI的讨论，结合已学内容进行思考)

选读/辅助理解：

• The Emerged Security and Privacy of LLM Agent: A Survey with Case Studies
• Position: A Roadmap to Pluralistic Alignment
• Why Johnny Can’t Prompt: How Non-AI Experts Try (and Fail) to Design LLM Prompts (关于人机交互与Prompt工程的思考)

拓展资源

• UIUC *CS598 Topics in LLM Agents* 完整 Slides & Paper List
• OpenAI Cookbook (包含Agent相关代码示例)
• LangGraph 官方教程 (学习Agentic应用的构建)

报名和打卡规则

因为残酷共学的报名和打卡是基于 GitHub 进行开展的，如果你是非开发者或者对 git 操作不熟悉，请先阅读此文档：残酷共学 GitHub 新手教程

• 报名:

• Step01：Fork 本仓库。
• Step02：复制 Template.md 创建你的个人笔记文件，并根据文档指引填写你的信息，并将文件重命名为你的 GitHub ID：YourGitHubID.md。
• Step03：创建一个 PR 到当前仓库，本残酷共学助教会对你的 PR 进行 review，review 通过后，你的 PR 会被 merge 到 main 分支，这个时候你会收到邀请加入这个仓库 contribution 的邮件，接受邀请后，你会自动获得 main 分支的 push 权限。
• Step04：完成以上三个步骤，恭喜你报名成功，后续就可以将你的学习记录直接 push 到 main 分支进行更新。
• 请加入 https://t.me/LXDAO/24843 群组保持交流。加入群组后请在群里报到一下方便助教记录。

• 打卡：
• 报名成功后，你将拥有 main 分支的 push 权限，你需要将每天学习笔记按日期更新到你的 YourName.md 文档中，提交更新后，我们会自动更新你的打卡状态到下面的打卡记录表。
• 如果你不在 UTC+8 时区，需要添加时区 code 到你的 YourName.md 文件的开始，错误的时区设置可能会使自动化打卡脚本错误计算打卡时间，具体请参考：https://github.com/IntensiveCoLearning/template/blob/main/Template.md?plain=1#L1
• 当你提交笔记时，请确保以下几点，否则打卡可能会失败：
• 在 YourName.md 文档，请将笔记内容放到以下代码块中，且 <!-- Content_START --> 和 <!-- Content_END --> 不能删除:

`` <!-- Content_START --> ### 日期 笔记内容 <!-- Content_END --> ``

• 日期格式为 ### 2024.07.11，请不要随意更改

共学激励

让我们一起在三周里「快速变态成长」，把纸面知识内化为深刻洞见，共同探索 AI Agent 的无限可能 🚀

打卡成功者福利：https://www.notion.so/lxdao/3eab258b4df44c9cb97319452b2be13b

更多信息

报名和打卡规则

因为残酷共学的报名和打卡是基于 GitHub 进行开展的，如果你是非开发者或者对 git 操作不熟悉，请先阅读此文档：残酷共学 GitHub 新手教程

• 报名:

• Step01：Fork 本仓库。
• Step02：复制 Template.md 创建你的个人笔记文件，并根据文档指引填写你的信息，并将文件重命名为你的 GitHub ID：YourGitHubID.md。
• Step03：创建一个 PR 到当前仓库，本残酷共学助教会对你的 PR 进行 review，review 通过后，你的 PR 会被 merge 到 main 分支，这个时候你会收到邀请加入这个仓库 contribution 的邮件，接受邀请后，你会自动获得 main 分支的 push 权限。
• Step04：完成以上三个步骤，恭喜你报名成功，后续就可以将你的学习记录直接 push 到 main 分支进行更新。
• 请加入 https://t.me/LXDAO/24843 群组保持交流。加入群组后请在群里报到一下方便助教记录。

• 打卡：
• 报名成功后，你将拥有 main 分支的 push 权限，你需要将每天学习笔记按日期更新到你的 YourName.md 文档中，提交更新后，我们会自动更新你的打卡状态到下面的打卡记录表。
• 如果你不在 UTC+8 时区，需要添加时区 code 到你的 YourName.md 文件的开始，错误的时区设置可能会使自动化打卡脚本错误计算打卡时间，具体请参考：https://github.com/IntensiveCoLearning/template/blob/main/Template.md?plain=1#L1
• 当你提交笔记时，请确保以下几点，否则打卡可能会失败：
• 在 YourName.md 文档，请将笔记内容放到以下代码块中，且 <!-- Content_START --> 和 <!-- Content_END --> 不能删除:

`` <!-- Content_START --> ### 日期 笔记内容 <!-- Content_END --> ``

• 日期格式为 ### 2024.07.11，请不要随意更改