그들은 구글 딥마인드의 알파이볼브와 다윈 괴델 머신의 아이디어를 결합하여, 스케일에서 가장 낮은 알고리즘 수준에서도 스스로 개선하는 자기 참조 시스템을 만들려고 노력했다.
증명 가능한 방식으로 반복적으로 스스로를 수정하는 자가 개선형 AI – Open-Ended Evolution of Self-Improving Agents
1. 서론 (Introduction)
인공지능이 스스로를 개선하고 진화해 나갈 수 있을까요? 인간이 아닌 AI 스스로가 ‘더 나은 AI’를 만드는 시대는 과연 가능할까요?
이번에 리뷰할 논문 **Darwin Gödel Machine(DGM)**은 이러한 질문에 도전하는 흥미롭고 실험적인 시도입니다.
이 논문은 AI 시스템이 자기 코드를 직접 수정하고, 이를 검증하며 점진적으로 스스로를 개선할 수 있는 **”자기개선형 AI 시스템”**을 제안합니다.
특히 다윈 진화론과 괴델 머신이라는 두 가지 아이디어를 접목해, 기존 방식보다 훨씬 더 유연하고 장기적인 자기개선 가능성을 탐구합니다.
이는 단지 코드 작성 능력을 개선하는 것이 아니라, 스스로 발전할 수 있는 구조를 개선하는 데까지 나아가는 중요한 발걸음이라 할 수 있습니다.
2. 문서 개요 (Overview)
- 저자: Jenny Zhang*, Shengran Hu*, Cong Lu, Robert Lange†, Jeff Clune†
(* 공동 제1저자 / † 공동 시니어 저자) - 소속: UBC, Vector Institute, Sakana AI, CIFAR AI Chair
- 발표일: 2025년 5월 (arXiv:2505.22954v1)
- 출처: arXiv.org, GitHub (코드 공개: https://github.com/jennyzzt/dgm)
- 문서 분량: 약 20+ 페이지, Supplementary 포함
- 구성: 이론 소개 → 시스템 설계 → 실험 결과 → 분석 및 안전성 논의
3. 핵심 내용 요약 (Key Summary)
- 연구 목표: 자기 코드를 자기 스스로 수정하면서 점점 발전하는 AI 시스템 구현
- 주요 제안:
- Gödel Machine의 ‘자기증명 기반 자기개선’ 아이디어를 실용적으로 재해석
- 진화적 탐색과 아카이브 기반의 Open-Ended Exploration 도입
- 시스템 설계:
- 초기 하나의 에이전트로 시작
- 다양한 자기개선 기능(툴 추가, 코드 편집 기능 개선 등)을 시도
- 각 버전을 벤치마크로 검증 후 성능이 높으면 아카이브에 저장
- 데이터셋 및 평가:
- SWE-bench (Python 기반 이슈 해결), Polyglot (다언어 코드 문제)
- 평가 지표: 정답률(pass@1), 다양한 LLM 적용 실험
- 주요 결과:
- SWE-bench: 20.0% → 50.0%
- Polyglot: 14.2% → 30.7%
- 수작업 없이도 오픈소스 SoTA 수준과 유사한 성능 도달
4. 기술적/이론적 분석 (Analysis)
- Gödel Machine은 ‘자기 개선이 유리함을 증명할 수 있는 경우에만 자기 코드를 수정하는’ 이론적 프레임워크입니다.
→ 이 논문은 이 개념을 “경험적 검증(empirical validation)” 기반으로 바꿔 현실적 구현을 시도했습니다. - Darwin적 접근법
- 아카이브 기반 오픈 엔디드 탐색: 다양한 성능을 가진 에이전트를 저장하고 이를 기반으로 자식 생성
- 다양한 구현을 시도하면서 특정 구현(예: str_replace vs line_edit)이 더 우수할 수 있다는 점을 증명
- 성능 향상 기법
- 에디터 툴 개선: 파일 일부만 보기/수정 기능
- 작업 흐름 개선: 다중 시도 및 랭킹, 실패 시 재시도, 컨텍스트 제한 대응
- 이전 연구와의 차별점:
- 메타에이전트 없이 하나의 에이전트가 자기 스스로를 개선
- “자기 자신을 개선하는 능력”까지 함께 향상됨
5. 활용 가능성 및 인사이트 (Implications)
- 실제 적용 사례
- AI 코딩 에이전트 (코드 수정, Pull Request 대응, 테스트 자동화 등)
- LLM 기반 툴에서의 자동 자기개선 (AutoGPT, Devin류 시스템)
- 개발 환경에의 영향
- 도메인 특화 코딩 에이전트를 자동으로 만들고, 지속 개선 가능
- “개발 보조 AI”에서 “스스로 발전하는 AI 개발자”로 진화 가능
- 새로운 관점:
- AI가 더 나은 AI를 만드는, 진정한 AGI 발전 루트
- 인간이 설계하지 않아도 새로운 기능이 등장할 수 있는 가능성
6. 비판적 시각 및 한계 분석 (Critique)
- 재현 가능성: 오픈소스 코드 제공으로 충분히 확보
- 범용성: 현재는 코딩 작업에 한정됨
- 한계:
- 학습된 LLM의 한계를 넘어서지 못함 (FM은 Frozen)
- 연산 비용 매우 큼 (SWE-bench 기준 2주 소요, 약 $22,000)
- 아카이브 관리, 탐색 로직 등은 아직 고정되어 있음
7. 관련 연구 및 후속 연구 방향 (Related Work & Future Work)
- 참고된 주요 연구
- Gödel Machine (Schmidhuber, 2007)
- ADAS (Automated Design of Agentic Systems)
- PromptBreeder, STOP, AgentBreeder 등 자기개선 기반 연구
- 후속 방향
- FM 자체 학습까지 포함하는 완전한 자가학습 구조
- 비코딩 도메인으로 확장 (자연어, 로봇 제어 등)
- 자기안전성 및 해석가능성 개선 (예: 헌법 AI 통합)
- 개인적 제안
- 평가 지표 자체도 동적으로 진화하는 구조
- 성능 이외에도 다양성/안정성/설명력 등을 반영한 멀티 오브젝티브 자기개선
8. 결론 및 요약 (Conclusion)
Darwin Gödel Machine은 단순한 코딩 에이전트를 넘어,
스스로를 개선하는 능력까지도 스스로 발전시키는 최초의 시스템입니다.
이 시스템은 미래의 AGI 개발 흐름에서 중요한 전환점이 될 수 있습니다.
- 읽을 가치: AI 연구자, 에이전트 기반 AI 개발자, LLM 활용 개발자에게 매우 추천
- 적용 가능성: 상용화까지는 연산 자원이 관건이지만, 개념적 혁신은 분명히 존재
- 개인 소감: ‘AI가 AI를 만든다’는 상상이 이제 현실로 한 걸음 다가온 느낌
