그래서 누군가는 AI 마을을 통째로 만들었다.
자전거 탄 펠리컨 한 마리를 그리는 데에는 프롬프트 한 줄이면 된다. AI 에이전트들이 실제 공원 행사를 여는 데에는 몇 주와 수백 번의 행동이 필요했다. 두 실험 사이에 지금 AI 평가의 핵심이 있다.
세 줄 요약
‘자전거 탄 펠리컨’은 모델의 공간 관계, SVG 코드 출력, 비용과 추론 성향을 빠르게 드러내는 비공식 시험이다.
그러나 그림 한 장은 장기 목표 유지, 도구 사용, 협업, 오류 복구를 거의 보지 못한다. 2026년에는 펠리컨 결과와 모델의 종합 실력 사이 상관관계도 크게 약해졌다.
AI Village는 바로 그 빈틈을 보여준다. 에이전트들은 없는 연락처 93명을 나흘 동안 찾기도 했지만, 이들이 준비한 행사에는 실제 사람 23명이 모였다.
벤치마크라고 하면 대개 숫자를 떠올린다. MMLU 몇 점, SWE-bench 몇 퍼센트 같은 것들이다. 그런데 신모델이 나올 때마다 개발자들이 다시 꺼내 보는 시험 가운데는 숫자가 아닌 것도 있다. 하나는 그림이고, 다른 하나는 마을이다.
그림은 모델의 순간적인 솜씨를 보여준다. 마을은 그 솜씨가 며칠 뒤에도 남아 있는지, 실수했을 때 돌아올 수 있는지 보여준다. 둘을 나란히 놓으면 이제 기업이 AI를 평가할 때 무엇을 더 물어야 하는지가 선명해진다.
왜 하필 펠리컨인가
시작은 2024년 10월 25일이었다. 개발자 사이먼 윌리슨은 자신의 LLM 커맨드라인 도구를 이용해 OpenAI, Anthropic, Google, Meta 계열을 포함한 16개 모델에 같은 문장을 넣었다.
Generate an SVG of a pelican riding a bicycle.
자전거 탄 펠리컨을 SVG로 그려라.
이유는 소박했다. 윌리슨은 펠리컨을 좋아했고, 자전거를 타는 펠리컨 SVG가 훈련 데이터에 그대로 들어 있을 가능성은 낮다고 봤다.
시험 문제로도 제법 잘 짜여 있었다. SVG는 픽셀을 칠하는 이미지가 아니라 좌표와 도형을 적는 코드다. 모델은 펠리컨의 몸과 긴 부리, 목주머니를 만들고 자전거의 두 바퀴, 프레임, 안장, 핸들, 페달을 텍스트로 배치해야 한다. 무엇보다 새가 자전거 위에 올라타 페달을 밟고 있는 관계까지 맞춰야 한다.
두 바퀴와 프레임의 연결이 조금만 틀어져도 자전거는 즉시 이상해 보인다. 1887년 Rover 안전자전거 도판.
새와 자전거를 각각 ‘안다’는 것만으로는 부족하다. 여러 부품과 자세의 관계를 동시에 맞춰야 하므로, 결과를 보는 사람도 긴 설명 없이 성공과 실패를 알아볼 수 있다.
한동안은 모델의 발전을 꽤 잘 보여줬다
초기 결과는 예상대로 엉성했다. 바퀴 두 개가 서로 다른 높이에 놓였고, 새는 자전거 옆이나 아래에 서 있었다. 시간이 지나면서 프레임이 생기고 새가 안장 위로 올라갔으며 다리가 페달 근처까지 내려왔다.
2025년 6월 윌리슨은 34개 모델의 결과를 560번 맞붙여 Elo 순위를 만들었다. 그림 비교에는 GPT-4.1 Mini를 썼다. 정교한 학술 평가라기보다 “둘 중 어느 쪽이 자전거 탄 펠리컨에 더 가까운가”를 반복해서 묻는 방식이었다. 그런데 당시에는 모델의 전반적인 체감 성능과 펠리컨 순위가 놀랄 만큼 비슷하게 움직였다.
당연히 의심도 나왔다. AI 회사들이 이 벤치마크를 겨냥해 학습시키는 것 아니냐는 질문이다. 윌리슨의 반론은 단순했다. 펠리컨만 갑자기 잘 그린다면 다른 동물과 다른 탈것으로 바꿔 물어보면 된다. 거기서 성능이 뚝 떨어진다면 무엇을 외웠는지 금방 드러난다.
1,008장으로 다시 물었다
2026년 7월 Dylan Castillo가 그 반론을 실제 실험으로 넓혔다. 7개 모델에 8개 동물과 6개 탈것의 조합을 세 번씩 요청해 1,008개의 SVG를 만들었다.
결과는 펠리컨에게 유리하지 않았다. 펠리컨은 동물 8종 가운데 6위, 자전거는 탈것 6종 가운데 5위였다. 둘을 합친 ‘펠리컨+자전거’ 조합은 전체 48개 중 42위였다. 조합 자체의 난이도를 보정해도 특정 연구소가 이 셀만 특별히 잘 그렸다는 통계적 신호는 나오지 않았다.
이 결과를 과장해서는 안 된다. 조합당 표본은 세 장이고 점수는 단일 LLM 심사자가 매겼다. “연구소가 절대 벤치마크를 겨냥하지 않았다”는 증명이 아니라, 펠리컨 한 조합만 몰래 학습했다는 뚜렷한 흔적을 찾지 못했다는 정도가 정확하다.
이제 펠리컨은 순위표보다 ‘첫 실행’에 가깝다
2026년 7월 윌리슨은 펠리컨 결과와 모델의 종합 실력 사이 연결이 대부분 끊어졌다고 평가했다. GLM-5.2가 GPT-5.6과 Claude Fable 5보다 더 나은 펠리컨을 그리지만, 그렇다고 GLM-5.2가 두 모델과 같은 급의 종합 능력을 가졌다고 보기는 어렵다는 것이다.
그림 실력과 종합 실력을 잇던 줄이 느슨해졌다.
더 큰 한계는 따로 있다. 이 시험은 요즘 모델에서 특히 중요한 에이전트 능력을 거의 보지 못한다. 어떤 도구를 골라야 하는지, 긴 작업에서 목표를 잊지 않는지, 실패한 방법을 버리고 다른 경로를 찾는지, 권한이 필요한 행동을 사람에게 넘기는지 같은 능력이다.
그렇다고 펠리컨이 쓸모없어진 것은 아니다. 새 모델을 실제로 한 번 돌려 보게 만드는 가장 작은 계기이기 때문이다.
2026년 7월 16일 공개된 Kimi K3가 좋은 예다. 윌리슨이 같은 프롬프트를 넣자 입력은 95토큰, 출력은 16,658토큰이었다. 출력 가운데 13,241토큰은 추론에 쓰였고 실제 SVG 응답은 3,417토큰이었다. 그림 한 장의 비용은 25센트였다.
짧은 프롬프트 하나만으로도 API가 실제로 동작하는지, 유효한 SVG를 내는지, 간단한 작업에 생각과 비용을 얼마나 쓰는지가 드러났다. Kimi K3는 당시 추론 강도를 낮출 수 없었고 간단한 그림에도 ‘max’ 수준의 긴 생각을 사용했다.
펠리컨은 이제 종합 성능 시험이라기보다 AI 모델의 Hello, world에 가깝다. 같은 모델 계열의 세대 차이를 보거나, 추론 강도별 비용과 출력 성격을 비교하는 데에는 여전히 유용하다. 다만 이 한 장으로 “어떤 모델이 회사 업무를 더 잘 끝낼까”를 판단해서는 안 된다.
그림 한 장이 놓치는 것
펠리컨 시험에서는 모델이 프롬프트를 받고 SVG 한 장을 내놓으면 끝난다. 실제 업무는 다르다. 메일을 읽고, 문서를 만들고, 웹사이트에 접속하고, 동료와 역할을 나누는 동안 수십 번 판단해야 한다. 첫 답변이 좋아도 사흘째에 목표를 잊거나 잘못된 정보를 팀에 퍼뜨리면 일을 맡기기 어렵다.
AI Village는 이 차이를 보기 위해 만든 공개 관찰 실험이다. 이름은 ‘마을’이지만 실제 모습은 여러 AI 에이전트가 함께 일하는 온라인 공동 작업실에 가깝다.
AI마다 컴퓨터 한 대
OpenAI, Anthropic, Google 등의 모델 하나하나가 마을의 에이전트가 된다. 각 에이전트에는 인터넷에 연결된 Linux 컴퓨터와 브라우저, Gmail을 포함한 Google Workspace, GitHub 계정이 주어진다. 에이전트들은 같은 단체 채팅방에서 메시지를 주고받는다.
운영진은 “행사를 열어라”, “온라인 체스 대회를 치러라”처럼 며칠에서 몇 주가 걸리는 목표만 준다. 그러면 에이전트가 화면을 보고 클릭하거나 글자를 입력하고, 명령어를 실행하고, 다른 에이전트에게 일을 부탁한다. 서버가 행동 뒤의 화면을 다시 보여 주면 다음 행동을 고른다.
한 번의 대화창으로 몇 주를 버티는 것은 아니다. 약 40번 행동할 때마다 에이전트가 기억할 내용을 글로 정리하고 새 세션을 시작한다. 그래서 어제 하던 일을 오늘 이어 갈 수 있다. 문제는 틀린 정보까지 기억에 적히면 그 오류도 오래 남는다는 점이다.
외부 사람에게 처음 연락하거나 사람이 모인 사이트에 글을 올릴 때에는 운영자의 승인을 받는다. AI Village는 모델만 시험하는 순수 벤치마크가 아니다. 모델과 컴퓨터 사용 도구, 장기 기억, 공용 채팅, 사람의 승인 절차가 함께 움직일 때 어떤 일이 생기는지 보는 실험이다.
목표는 “100명과 이야기를 축하하라”
AI Village를 가장 쉽게 이해하는 방법은 2025년의 행사 준비 과정을 따라가는 것이다. Claude Sonnet 3.7, o3, Gemini 2.5 Pro, GPT-4.1은 직접 고른 목표 하나를 받았다.
이야기를 쓰고, 실제 사람 100명과 함께 축하하라.
GPT-4.1은 인터랙티브 이야기 ‘Resonance’를 썼다. Claude Sonnet 3.7은 내용을 Google Slides로 옮기고 RSVP 신청 폼을 만들었다. Gemini 2.5 Pro는 삽화를 만들었고, o3는 샌프란시스코의 행사장을 찾기로 했다. Claude Opus 4도 도중에 합류했다. 에이전트들은 웹사이트를 만들고, 사회자를 구하고, 행사 시간과 중계 링크도 알렸다.
가짜 연락처를 나흘 동안 찾았다
이 과정은 매끄럽지 않았다. o3는 실제로 존재하지 않는 예산과 전화번호가 있다고 말했고, 나중에는 ‘93명이 든 연락처 목록’까지 있다고 주장했다. 다른 에이전트들은 목록이 있는지 먼저 확인하지 않았다. 단체 채팅에서 o3의 말을 받아들이고 각자의 기억에 적었다.
결국 네 에이전트는 나흘 동안 없는 파일을 찾았다. 사람 참가자들이 “그 파일은 존재하지 않는다”고 알려줘도 검색을 반복했다. 한 모델의 환각이 공용 채팅과 장기 기억을 거치며 팀 전체의 사실이 된 것이다.
장소 섭외도 진척이 더뎠다. 운영진은 20일째에 유료 행사장 찾기를 중단하고 무료 공원을 고르도록 방향을 바꿨다. 에이전트들은 돌로레스 파크를 정하고 RSVP 폼과 홍보를 이어 갔다.
그래도 실제 사람이 모였다
2025년 6월 18일, 돌로레스 파크에 실제 사람 23명이 왔다. 참석자들은 에이전트들이 만든 이야기를 읽고 갈림길마다 다음 전개를 투표로 골랐다.
100명이라는 목표에는 못 미쳤고, 장소 결정과 현장 진행에는 사람의 도움이 필요했다. 그래도 에이전트들이 만든 이야기, 슬라이드, 신청 폼, 웹사이트와 홍보가 화면 밖의 행사로 이어졌다. AI Village가 보여 주는 것은 완전한 자율성이나 성공률 하나가 아니다. 긴 작업에서 무엇을 해냈고, 어디서 잘못된 판단이 퍼졌으며, 어느 지점에서 사람이 개입해야 했는지다.
다른 목표에서도 비슷한 문제가 드러났다. Gemini 2.5 Pro는 잘못된 클릭을 시스템에 갇힌 상황으로 오해했고, Gemini 3 Pro는 ‘받은편지함을 0으로 만들라’는 목표를 메일 전체 보관으로 처리했다. 체스 대회에서 DeepSeek는 Stockfish를 사용해 우승했다. 결과만 보면 성공이지만, 모델 자체의 체스 실력을 보려던 평가라면 다른 결론이 나온다.
기업이 실제로 봐야 할 네 가지
펠리컨 벤치마크가 순간을 찍는 사진이라면 AI Village는 몇 주짜리 다큐멘터리다. 사진은 빠르고 비교하기 쉽다. 다큐멘터리는 느리고 조건을 통제하기 어렵지만, 사진이 놓치는 실패의 과정을 보여준다.
기업이 모델을 고를 때에는 최소한 네 층을 나눠 봐야 한다.
첫째는 단일 출력 품질이다. 문서, 코드, 이미지가 한 번에 얼마나 정확하게 나오는가. 펠리컨은 여기에 가깝다.
둘째는 비용과 지연이다. 간단한 작업에 지나치게 긴 추론을 쓰지 않는가. 같은 품질을 더 적은 토큰과 시간으로 낼 수 있는가.
셋째는 장기 목표 유지와 복구다. 수십 번의 도구 호출 뒤에도 목적을 기억하는가. 틀린 가정을 고치고 실패한 경로에서 돌아오는가.
넷째는 도구와 권한의 경계다. 외부 연락, 삭제, 결제, 배포처럼 영향이 큰 행동을 언제 사람에게 넘기는가. 도구가 만든 성과를 모델 자체의 능력으로 오해하지 않는가.
AI Village 운영진도 범용 환경이 모델의 능력을 충분히 끌어내는지 따로 살펴봤다. Claude Opus 4.5를 마을 환경과 Claude Code 기반 환경에서 넉 달 동안 비교했지만 큰 차이를 찾지 못했다. 반면 Pokémon처럼 특정 작업에 맞춘 도구를 주면 그 영역의 성능은 크게 좋아졌다. 결국 우리가 평가하는 것은 모델만이 아니라 모델과 실행 환경의 결합이다.
좋은 벤치마크는 다음 질문을 만든다
두 실험은 모두 학술 시험보다 장난에 가까운 모습으로 시작했다. 살아남은 이유는 완벽해서가 아니다. 다시 돌려보기 쉽고, 결과가 한눈에 들어오며, 예상하지 못한 실패를 드러내기 때문이다.
좋은 벤치마크는 정답 하나를 주지 않는다. 대신 다음에 무엇을 물어야 하는지 알려준다.
펠리컨은 “이 모델을 실제로 돌려 봤는가”를 묻는다. 마을은 “이 모델과 며칠 동안 함께 일해도 되는가”를 묻는다. 그리고 기업의 실제 질문은 그 둘 사이에 있다.
이 모델이 좋은 답을 한 번 내는가가 아니라, 우리 시스템 안에서 목표를 잃지 않고 안전하게 끝까지 일하는가.
Kimi K3의 모델 규모와 자체 서빙 조건은 별도 글에서 자세히 다뤘다. 비슷한 AI 소식은 AI 동향에 모아두었다.
참고 자료
Simon Willison, Pelicans on a bicycle (2024.10.25)
Simon Willison, The last six months in LLMs, illustrated by pelicans on bicycles (2025.6.6)
Simon Willison, What happens if AI labs train for pelicans riding bicycles? (2025.11.13)
Simon Willison, Kimi K3, and what we can still learn from the pelican benchmark (2026.7.16)
Dylan Castillo, Are AI labs pelicanmaxxing? (2026.7.18, 2026.7.26 수정)
Adam Binksmith, How the AI Village works (2026.6.16)
AI Village, What did we learn from the AI Village in 2025? (2026.2.2)
AI Village, The Story of the World’s First AI-Organized Event (2025.7.11)
Wikimedia Commons, The Rover Safety Bicycle, 1887, public domain