# 运行 AI Scientist v2 的核心命令
python launch_scientist_bfts.py \
  --load_ideas "ai_scientist/ideas/my_research_topic.json" \
  --load_code \
  --add_dataset_ref \
  --model_writeup o1-preview-2024-09-12 \
  --model_citation gpt-4o-2024-11-20 \
  --model_review gpt-4o-2024-11-20 \
  --model_agg_plots o3-mini-2025-01-31 \
  --num_cite_rounds 20

# 传统研究流程 vs AI Scientist v2
Traditional Research:
  人工文献调研(数周) -> 人工提出假设(数天) ->
  人工设计实验(数周) -> 人工执行实验(数周) ->
  人工分析数据(数天) -> 人工撰写论文(数周)
  总计: 2-6 个月

AI Scientist v2:
  AI 文献调研(分钟) -> AI 生成假设(分钟) ->
  AI 设计实验(分钟) -> AI 执行实验(小时) ->
  AI 分析数据(分钟) -> AI 撰写论文(小时)
  总计: 1-3 天

# AI Scientist v2 技术栈
Language:      Python
Core Algorithm: Progressive Agentic Tree Search
Models:        GPT-4o, Claude, o1-preview (multi-model)
Execution:     Docker containers (sandboxed)
Config:        YAML configuration files
Output:        LaTeX paper + code + data + figures

# AI Scientist v2 与 v1 对比
Metric                | v1         | v2
----------------------|------------|------------
需要人类模板           | 是         | 否
论文质量              | ICLR投稿   | 研讨会级别
自动化程度            | 半自动     | 全自动
错误自修复            | 有限       | 完整
实验成功率            | ~60%       | ~85%
平均研究周期          | 3-5 天     | 1-3 天
并行探索              | 不支持     | 支持
多模型协作            | 单一模型   | 分阶段多模型

# 技术架构核心设计决策

1. 为什么选择树搜索而不是线性搜索？
   - 线性搜索：假设1 → 实验1 → 假设2 → 实验2 → ...
   - 问题：一个方向的失败会浪费时间
   - 树搜索：同时探索多个方向，集中资源在高分分支

2. 为什么使用多模型而不是单一模型？
   - 创意生成需要"发散思维"→ 使用高 temperature 模型
   - 代码编写需要"精确执行"→ 使用代码专用模型
   - 论文撰写需要"严谨推理"→ 使用推理增强模型
   - 审稿评审需要"批判分析"→ 使用通用强模型

3. 为什么设置 debug_prob 而不是总是修复？
   - 有些错误是不可修复的（如错误的假设）
   - 继续修复浪费时间，不如切换到其他分支
   - 0.8 的概率是平衡探索和修复的最佳点

# bfts_config.yaml 关键配置
agent:
  num_workers: 3        # 并行探索的工作线程数
  steps: 21             # 每个探索路径的最大步数
  num_seeds: 3          # 每个想法的种子实验数

search:
  max_debug_depth: 5    # 调试最大深度
  debug_prob: 0.8       # 遇到错误时尝试调试的概率
  num_drafts: 3         # 每个实验的草稿数量

evaluation:
  metrics: [novelty, feasibility, impact]
  min_score: 0.5        # 最低探索门槛分数

# 各阶段使用的模型及其职责
阶段一：创意生成
  模型: gpt-4o-2024-05-13
  职责: 生成新颖的研究假设
  要求: 创造力 > 准确性

阶段二：实验执行
  模型: claude-sonnet-4-6 / gpt-4o
  职责: 编写和调试实验代码
  要求: 代码能力 > 创造力

阶段三：论文撰写
  模型: o1-preview-2024-09-12
  职责: 撰写学术论文
  要求: 推理能力 > 速度

阶段四：同行评审
  模型: gpt-4o-2024-11-20
  职责: 模拟审稿人评审论文
  要求: 批判性思维 > 创造力

# AI Scientist v2 的实验执行流程
1. 生成实验代码
   → 基于研究假设，编写 Python 实验脚本

2. 执行实验
   → 在隔离环境中运行实验脚本

3. 错误检测与修复
   → 如果实验失败:
     a. 分析错误信息
     b. 定位问题原因
     c. 生成修复代码
     d. 重新运行实验
     e. 重复直到成功或达到重试上限

4. 结果收集与分析
   → 提取关键指标
   → 生成可视化图表
   → 与基线方法对比

# 完整配置参数说明
agent:
  num_workers: 3
    # 并行探索路径数。增加可加速但成本更高
  steps: 21
    # 每条路径的最大步数。影响探索深度
  num_seeds: 3
    # 每个假设的种子实验数。更多种子更可靠

search:
  max_debug_depth: 5
    # 调试最大深度。控制自动修复尝试次数
  debug_prob: 0.8
    # 调试概率。0=直接放弃, 1=总是尝试修复
  num_drafts: 3
    # 实验草稿数。更多草稿=更多尝试

evaluation:
  metrics: [novelty, feasibility, impact]
    # 评估维度：新颖性、可行性、影响力
  min_score: 0.5
    # 最低探索门槛。提高可减少低质量探索

# Progressive Agentic Tree Search 伪代码
def tree_search(idea, config):
    root = TreeNode(idea)
    workers = config.num_workers

    # 初始化：为每个想法创建种子实验
    for seed in range(config.num_seeds):
        experiment = generate_experiment(idea, seed)
        root.add_child(experiment)

    # 迭代探索
    for step in range(config.steps):
        # 选择最有前途的分支
        candidates = get_scoring_branches(root)
        selected = select_top_k(candidates, workers)

        # 并行执行实验
        results = parallel_execute(selected)

        for result in results:
            if result.success:
                # 生成更深层的探索分支
                new_branches = generate_variations(result)
                result.node.add_children(new_branches)
            elif random() < config.debug_prob:
                # 尝试调试修复
                debug_result = debug_experiment(result)
                if debug_result.success:
                    result.node.update(debug_result)
            else:
                # 放弃这个分支
                result.node.mark_as_failed()

    # 选择最佳路径生成论文
    best_path = find_best_path(root)
    return write_paper(best_path)

# 评审评分维度（基于 ICLR/NeurIPS 标准）
review_dimensions = {
    "soundness": {
        "description": "技术正确性",
        "questions": [
            "实验方法是否合理？",
            "数据分析是否正确？",
            "结论是否由数据支撑？"
        ]
    },
    "presentation": {
        "description": "论文写作质量",
        "questions": [
            "论文结构是否清晰？",
            "图表是否有效传达信息？",
            "语言是否准确流畅？"
        ]
    },
    "contribution": {
        "description": "学术贡献度",
        "questions": [
            "研究问题是否重要？",
            "方法是否具有创新性？",
            "结果是否推动领域发展？"
        ]
    },
    "rating": "1-10 分（6分及以上为弱接受）",
    "confidence": "1-5 分（评审者对评分的置信度）"
}

# 克隆项目
git clone https://github.com/SakanaAI/AI-Scientist-v2.git
cd AI-Scientist-v2

# 创建 Python 虚拟环境
python -m venv venv
source venv/bin/activate

# 安装依赖
pip install -r requirements.txt

# 配置 API 密钥
cp .env.example .env
# 编辑 .env 文件，填入你的 API 密钥

# ai_scientist/ideas/my_research_topic.md
# 研究主题：自适应学习率调度策略

## 研究领域
深度学习优化算法

## 研究方向
探索一种基于损失曲面曲率的自适应学习率调度
策略，使模型在训练过程中自动调整学习率。

## 基准对比方法
- Cosine Annealing
- StepLR
- OneCycleLR
- Warmup + Decay

## 评估指标
- 最终测试准确率
- 收敛速度（达到目标准确率的 epoch 数）
- 训练稳定性（损失方差）

## 约束条件
- 只使用 CIFAR-10 数据集
- 模型架构: ResNet-18
- 最大训练 epoch: 200
- 单 GPU 环境

# 运行创意生成阶段
python ai_scientist/perform_ideation_temp_free.py \\
  --workshop-file "ai_scientist/ideas/my_research_topic.md" \\
  --model gpt-4o-2024-05-13 \\
  --max-num-generations 20 \\
  --num-reflections 5

# 输出示例：
# Idea 1: Curvature-Aware Step Size (CSS)
# Idea 2: Momentum-Guided Adaptive Schedule
# Idea 3: Loss Landscape Smoothing Scheduler
# ...
# Idea 20: Gradient Signal-to-Noise Ratio Scheduler

# 启动完整的实验探索流程
python launch_scientist_bfts.py \\
  --load_ideas "ai_scientist/ideas/generated_ideas.json" \\
  --load_code \\
  --add_dataset_ref \\
  --model_writeup o1-preview-2024-09-12 \\
  --model_citation gpt-4o-2024-11-20 \\
  --num_cite_rounds 20

# 实验执行过程日志：
# [Worker 1] Starting experiment: CSS-Seed-1
# [Worker 2] Starting experiment: MGAS-Seed-1
# [Worker 3] Starting experiment: LLSS-Seed-1
# [Worker 1] Error in epoch 45: NaN loss
# [Worker 1] Debugging attempt 1/5: Adding gradient clipping
# [Worker 1] Debug successful, continuing experiment
# [Worker 1] Experiment completed: 92.3% accuracy
# [Worker 2] Experiment completed: 91.7% accuracy

# 生成的论文结构
output/
└── experiment_css_adaptive_lr/
    ├── paper.pdf              # 最终论文
    ├── figures/
    │   ├── learning_curves.png
    │   ├── comparison_bar.png
    │   └── loss_landscape.png
    ├── code/
    │   ├── experiment.py
    │   ├── model.py
    │   └── utils.py
    ├── results/
    │   ├── metrics.json
    │   └── logs.txt
    └── review.json            # AI 审稿意见

# AI 审稿意见示例 (review.json)
{
  "overall_score": 6.5,
  "confidence": 4,
  "strengths": [
    "Novel approach to adaptive learning rates",
    "Comprehensive comparison with baselines",
    "Well-designed ablation studies"
  ],
  "weaknesses": [
    "Limited to CIFAR-10, needs broader validation",
    "Some hyperparameter choices not justified",
    "Missing comparison with recent methods"
  ],
  "questions": [
    "How does the method scale to larger models?",
    "What is the computational overhead?"
  ],
  "recommendation": "Weak accept"
}

# custom_pipeline.py — 自定义研究管道
from ai_scientist import Pipeline, Stage

pipeline = Pipeline(
    name="nlp-research-pipeline",
    stages=[
        Stage("ideation", model="gpt-4o", timeout="10m"),
        Stage("experiment", model="gpt-4o", timeout="2h"),
        Stage("analysis", model="gpt-4o", timeout="30m"),
        Stage("writing", model="o1-preview", timeout="1h"),
        Stage("review", model="gpt-4o", timeout="30m"),
    ],
    config={
        "max_ideas": 10,
        "max_experiments_per_idea": 3,
        "min_score_threshold": 0.6,
        "debug_enabled": True,
        "debug_max_attempts": 5,
    }
)

# 运行管道
results = pipeline.run(
    topic="ai_scientist/ideas/my_topic.md",
    output_dir="output/my_research/",
)

# 查看结果
for paper in results.papers:
    print(f"Paper: {paper.title}")
    print(f"  Score: {paper.review_score}")
    print(f"  Status: {paper.status}")

# 密钥管理建议
# 1. 使用 .env 文件（本地开发）
echo "OPENAI_API_KEY=sk-xxx" >> .env

# 2. 使用环境变量（CI/CD）
export OPENAI_API_KEY="${{ secrets.OPENAI_API_KEY }}"

# 3. 设置费用上限
# OpenAI: 在 API 设置中设置月度预算限制
# 防止意外的高额账单

# .env 配置文件
# === 必需的 API 密钥 ===
OPENAI_API_KEY="your-openai-key"
S2_API_KEY="your-semantic-scholar-key"

# === 可选的模型 API ===
ANTHROPIC_API_KEY="your-anthropic-key"
OPENROUTER_API_KEY="your-openrouter-key"

# === 云服务配置（用于大规模实验）===
AWS_ACCESS_KEY_ID="your-aws-key"
AWS_SECRET_ACCESS_KEY="your-aws-secret"
AWS_REGION_NAME="us-east-1"

# === 实验配置 ===
MAX_GPUS=1
EXPERIMENT_TIMEOUT=3600  # 单个实验超时（秒）
MAX_RETRIES=5            # 最大重试次数

# Docker 安全配置示例
docker run \\
  --rm \\
  --memory="8g" \\
  --cpus="4" \\
  --gpus "device=0" \\
  --network=restricted \\
  --read-only \\
  --tmpfs /tmp:size=4g \\
  -e OPENAI_API_KEY=$OPENAI_API_KEY \\
  ai-scientist-v2:latest \\
  python launch_scientist_bfts.py \\
    --load_ideas ideas.json \\
    --timeout 3600

# templates/custom_experiment.py
"""自定义实验模板
AI Scientist 会基于此模板生成具体实验"""

import torch
import torch.nn as nn
from torch.utils.data import DataLoader

def run_experiment(config):
    """
    config 包含 AI 生成的实验参数
    """
    model = create_model(config.model_config)
    optimizer = create_optimizer(config.optim_config)
    scheduler = create_scheduler(config.sched_config)

    train_loader = get_dataloader(
        dataset=config.dataset,
        batch_size=config.batch_size,
        split='train'
    )

    results = []
    for epoch in range(config.max_epochs):
        train_loss = train_one_epoch(
            model, optimizer, scheduler, train_loader
        )
        test_acc = evaluate(model, test_loader)
        results.append({
            'epoch': epoch,
            'loss': train_loss,
            'accuracy': test_acc
        })

    return results

# 自定义研究方向模板
research_directions = {
    "nlp": {
        "tasks": ["sentiment", "ner", "translation"],
        "datasets": ["imdb", "conll2003", "wmt14"],
        "metrics": ["accuracy", "f1", "bleu"],
        "baseline_models": ["bert-base", "gpt2"],
    },
    "cv": {
        "tasks": ["classification", "detection", "segmentation"],
        "datasets": ["cifar10", "coco", "voc"],
        "metrics": ["accuracy", "map", "iou"],
        "baseline_models": ["resnet50", "vit-base"],
    },
    "rl": {
        "tasks": ["control", "game", "navigation"],
        "environments": ["gym", "atari", "mujoco"],
        "metrics": ["reward", "success_rate"],
        "baseline_models": ["ppo", "sac", "dqn"],
    },
}

# 成本优化策略
# 策略1：分阶段使用不同质量的模型
ideation: gpt-4o-mini ($0.15/1M tokens)
experiment_code: gpt-4o ($2.50/1M tokens)
paper_writing: o1-preview ($15/1M tokens)
review: gpt-4o ($2.50/1M tokens)

# 策略2：设置早期剪枝
min_score: 0.6  # 只探索高质量假设
max_workers: 2  # 限制并行度

# 策略3：增量实验
--resume_from previous_run.json
# 从上次的结果继续，避免重复计算

# 集成 Weights & Biases 实验追踪
import wandb

class WDBTracker:
    def on_experiment_start(self, config):
        wandb.init(project="ai-scientist", config=config)

    def on_epoch_end(self, metrics):
        wandb.log(metrics)

    def on_experiment_end(self, results):
        wandb.finish()

# 集成 MLflow 模型管理
import mlflow

class MLFlowTracker:
    def on_experiment_start(self, config):
        mlflow.start_run()
        mlflow.log_params(config)

    def on_model_saved(self, path):
        mlflow.log_artifact(path)

# 集成 Slack/飞书通知
class NotificationHook:
    def on_paper_generated(self, paper):
        send_notification(
            f"New paper: {paper.title}\n"
            f"Score: {paper.review_score}/10"
        )

# docker-compose.yml — 生产部署
version: '3.8'
services:
  ai-scientist:
    build: .
    volumes:
      - ./ideas:/app/ideas
      - ./output:/app/output
    environment:
      - OPENAI_API_KEY=${OPENAI_API_KEY}
    deploy:
      resources:
        limits:
          cpus: '4'
          memory: 16G
        reservations:
          devices:
            - capabilities: [gpu]
              count: 1
    restart: unless-stopped

# 评估维度与当前性能
evaluation_metrics = {
    "paper_quality": {
        "metric": "ICLR 评审分数",
        "v1": "弱拒绝 (Weak Reject)",
        "v2": "弱接受 (Weak Accept)",
        "note": "v2 首次通过研讨会级别同行评审"
    },
    "success_rate": {
        "metric": "实验成功率",
        "claude_35_sonnet": "~85%",
        "gpt_4o": "~70%",
        "note": "使用更强模型可显著提升成功率"
    },
    "cost_efficiency": {
        "metric": "单次运行成本",
        "v1": "~$15",
        "v2": "~$20-30",
        "note": "v2 成本略高但能力更强"
    },
    "time_efficiency": {
        "metric": "写作阶段时间",
        "value": "20-30 分钟",
        "note": "整体流程在数小时内完成"
    },
    "domain_coverage": {
        "metric": "验证过的 ML 子领域",
        "domains": ["扩散模型", "语言建模", "Grokking"],
        "note": "理论上可扩展到任意 ML 领域"
    }
}

# AI Scientist v2 完整工作流
1. 准备研究主题（Markdown 文件）
   ↓
2. 运行创意生成（生成 20 个假设）
   python perform_ideation_temp_free.py
   ↓
3. 启动树搜索实验（并行探索）
   python launch_scientist_bfts.py
   ↓
4. 自动执行：
   - 编写实验代码
   - 运行实验
   - 错误检测与修复
   - 结果收集
   ↓
5. 自动撰写论文
   - 数据分析与可视化
   - 论文各章节撰写
   - 参考文献搜索
   ↓
6. AI 同行评审
   - 模拟审稿人评审
   - 生成审稿意见
   ↓
7. 输出完整论文包
   （论文 PDF + 代码 + 数据）

@article{aiscientist_v2,
  title={The AI Scientist-v2: Workshop-Level
    Automated Scientific Discovery via
    Agentic Tree Search},
  author={Yamada, Yutaro and Lange,
    Robert Tjarko and Lu, Cong and
    Hu, Shengran and Lu, Chris and
    Foerster, Jakob and Clune, Jeff
    and Ha, David},
  journal={arXiv preprint arXiv:2504.08066},
  year={2025}
}

# 练习 2：参数对比实验
# 实验组 A：保守探索
num_workers: 2, steps: 15, debug_prob: 0.5

# 实验组 B：激进探索
num_workers: 5, steps: 30, debug_prob: 0.9

# 实验组 C：平衡策略
num_workers: 3, steps: 21, debug_prob: 0.8

# 对比指标：
# - 最终论文质量评分
# - API 调用成本
# - 实验成功率
# - 平均实验时间

# AI Scientist 的未来方向
near_term:
  - 支持更多编程语言（不只是 Python）
  - 集成更多数据集和基准测试
  - 改进评分函数的准确性
  - 降低 API 调用成本

mid_term:
  - 多模态研究（图像+文本+代码）
  - 跨学科研究自动化
  - 实验室机器人集成
  - 协作式多代理研究

long_term:
  - 完全自主的科研机构
  - AI 驱动的科学发现管道
  - 人类-AI 协作研究模式
  - 开放科学研究平台

# 推荐阅读列表
papers:
  - "The AI Scientist" (v1) — 了解基础概念
  - "The AI Scientist-v2" — 本课程核心内容
  - "Large Language Models for Scientific Discovery"
    — LLM 在科学发现中的应用综述

tools:
  - SakanaAI/AI-Scientist-v2 — GitHub 仓库
  - SakanaAI/AI-Scientist — v1 版本
  - Aider — AI 辅助编码工具
  - Elicit — AI 辅助文献搜索

concepts:
  - Monte Carlo Tree Search (MCTS)
  - Automated Machine Learning (AutoML)
  - Bayesian Optimization
  - Scientific Method and Reproducibility

# 典型运行指标参考
metrics_reference = {
    "ideation_time": "5-15 分钟",
    "experiment_time_per_seed": "30 分钟 - 2 小时",
    "paper_writing_time": "30-60 分钟",
    "review_time": "10-20 分钟",
    "total_time": "1-3 天",
    "total_cost": "$5-20",
    "api_calls": "500-2000",
    "tokens_consumed": "2-10M tokens",
    "papers_generated": "1-3",
    "avg_paper_score": "5-7 / 10",
    "experiment_success_rate": "60-85%",
    "debug_success_rate": "70-90%",
}