POCKET-27B-Pi 為何以 16.5GB 版本完成 28 項編碼任務並勝過 53.8GB 原精度模型,以及本機執行方法
파일은 16.5GB인데 코딩 과제는 28개: POCKET-27B-Pi가 원 정밀도 53.8GB 모델을 앞선 이유와 직접 돌려 보는 법
Vidraft 公開 POCKET-27B-Pi 編碼模型,其 16.5GB Q4_K_M 版本在 48 項共通 Terminal-Bench 2.1 任務中完成 28 項(58.3%)。
TL;DR
- 비드래프트가 코딩 전문 모델 POCKET-27B-Pi를 허깅페이스에 공개했습니다. Q4_K_M 기준 파일 하나가 16.5GB이고, 24GB 그래픽카드 한 장에서 돕니다.
- 같은 그래픽카드, 같은 과제, 같은 제한시간에서 Terminal-Bench 2.1 공통 48과제 중 28개(58.3%)를 풀었습니다. 오리지날 Qwen3.8-27B는 19개(39.6%), 53.8GB 원 정밀도 pi 모델은 21개(43.8%)입니다.
- 오리지날 대비 +47%, 원 정밀도 pi 모델 대비 +33%입니다. 파일은 각각 더 작고, 3.3분의 1입니다.
- 같은 50과제에서 과제당 에이전트 단계 수 중앙값은 15단계로, 오리지날 가중치 판의 36.5단계보다 절반 이하입니다. 100단계 한도까지 간 실행은 0건입니다.
- 모델: https://huggingface.co/FINAL-Bench/POCKET-27B-Pi-GGUF (Apache-2.0)
코딩 에이전트에서 모델 크기는 왜 점수가 되는가?
채팅용 모델은 답이 몇 초 늦어도 사용자가 기다리면 끝입니다. 코딩 에이전트는 다릅니다. 에이전트는 파일을 읽고, 명령을 실행하고, 결과를 보고 다음 수를 정하는 일을 수십 번 반복합니다. 한 번 반복할 때마다 모델의 답을 한 번 기다립니다. 과제에 제한시간이 있으면 모델의 응답 속도가 곧 시도할 수 있는 단계 수가 됩니다.
간단한 어림셈으로 보면 이렇습니다. 아래 숫자는 설명을 위한 가정(illustrative)이며 실측치가 아닙니다.
# 설명용 어림셈: 제한시간 3600초, 단계당 모델 응답 + 도구 실행 시간(가정)
budget = 3600
for name, sec_per_turn in [("큰 파일 판", 60), ("작은 파일 판", 40)]:
print(name, "시도 가능 단계 수 =", budget // sec_per_turn)
# 큰 파일 판 시도 가능 단계 수 = 60
# 작은 파일 판 시도 가능 단계 수 = 90
같은 그래픽카드에서 8개 에이전트를 동시에 돌리면 메모리 대역폭을 나눠 쓰기 때문에 파일이 작을수록 이 차이가 더 벌어집니다. POCKET의 출발점이 바로 여기입니다. 큰 모델을 사람들이 실제로 가진 장비에서 빠르게 돌 만큼 줄이고, 줄인 뒤에도 일을 해내는지 실제 과제로 재서 확인합니다.
어떤 조건으로 쟀는가?
비교는 같은 장비에 네 가지 판을 올려 같은 일을 시키는 방식입니다.
| 항목 | 조건 |
|---|---|
| 벤치마크 | Terminal-Bench 2.1 |
| 에이전트 | pi 코딩 에이전트 |
| 생각 기능 | 끔 |
| 시도 횟수 | 과제당 1회 |
| 제한시간 | 과제당 1시간 |
| 동시 실행 | 그래픽카드 한 장에서 에이전트 세션 8개 |
| 집계 대상 | 네 판이 모두 끝낸 공통 48과제 |
공통 과제만 세는 이유는 간단합니다. 어떤 판이 끝내지 못한 과제가 섞이면 분모가 달라져 비교가 흐려집니다. 네 판이 모두 끝낸 48과제로 맞추면 숫자가 같은 문제집 위에서 나옵니다.
| 모델 | 파일 크기 | 해결한 과제 | 해결률 |
|---|---|---|---|
| 오리지날: Qwen3.8-27B 원본 가중치 (POCKET-27B) | 22.4GB | 48개 중 19개 | 39.6% |
| pi 모델: Qwen3.8-27B-pi-adapted, 원 정밀도 | 53.8GB | 48개 중 21개 | 43.8% |
| POCKET-27B-Pi Q4_K_M | 16.5GB | 48개 중 28개 | 58.3% |
| POCKET-27B-Pi Q6_K | 22.1GB | 48개 중 27개 | 56.3% |
둘만 맞붙인 공통 50과제에서도 POCKET-27B-Pi Q4_K_M이 30개, 원 정밀도 원본이 23개를 풀었습니다. Q4_K_M과 Q6_K는 공통 62과제에서 똑같이 39개씩 풀었습니다. 파일이 더 작은 Q4_K_M이 같은 품질을 더 가볍게 내는 셈입니다.
같은 과제를 풀 때 단계 수는 어떻게 다른가?
점수만큼 눈여겨볼 지표가 단계 수입니다. 같은 50과제에서 POCKET-27B-Pi와 원본 가중치 판(POCKET-27B)을 비교했습니다.
| 같은 50과제 | POCKET-27B-Pi | POCKET-27B |
|---|---|---|
| 해결한 과제 | 29개 | 19개 |
| 100단계 한도까지 간 실행 | 0건 | 14건 |
| 과제당 단계 수 (중앙값) | 15단계 | 36.5단계 |
POCKET-27B-Pi는 계획하고, 실행하고, 멈춥니다. 쓰는 단계가 절반 이하이므로 기다리는 시간이 줄고 생성하는 글자 수도 함께 줄어듭니다. 한도까지 달리다 끝나는 실행이 0건이라는 점은 에이전트를 무인으로 돌릴 때 비용 예측이 쉬워진다는 뜻이기도 합니다.
pi 어댑터는 무엇을 더하는가?
POCKET-27B-Pi는 공개 모델 Qwen3.8-27B와, 허깅페이스 하네스 팀이 공개한 pi 코딩 에이전트 어댑터를 하나로 합친 모델입니다. 어댑터는 검증기 보상으로 강화학습한 것이고, 비드래프트는 이를 가중치에 합쳐 어댑터 없이 파일 하나로 실행되게 만든 뒤 PC에 들어가는 크기로 줄였습니다.
어댑터 제작자가 원 정밀도 기준으로 발표한 성적은 이렇습니다.
- SWE-bench Pro 고난도 51과제: 39.2%에서 64.7%로
- Terminal-Bench 2.1: 39.5%에서 55.8%로
- 생각을 끈 상태에서도 Terminal-Bench 2.1은 최대 강도 생각 모드의 원본 모델과 같은 수준
- 과제당 생성하는 글자 수는 약 4.5분의 1
| 과제당 중앙값 | pi 어댑터 | 생각 모드 원본 |
|---|---|---|
| 생성 토큰, SWE-bench Pro | 9.4천 | 48.8천 |
| 생성 토큰, Terminal-Bench 2.1 | 3.7천 | 16.5천 |
| 모델 호출 수, SWE-bench Pro | 21회 | 61회 |
비드래프트의 측정도 이 발표와 맞아떨어집니다. 원본 가중치를 그대로 담은 POCKET-27B는 비드래프트 측정에서 38.0%를 풀었고, 제작자가 발표한 원본 모델 성적은 39.5%입니다. 측정 환경이 서로 다른데도 두 숫자가 가까우므로, 위 비교표의 출발선이 같다고 볼 수 있습니다.
단계 수는 비용으로 어떻게 바뀌는가?
단계 수 중앙값 15와 36.5의 차이는 점수보다 운영 비용에서 더 크게 보입니다. 에이전트는 단계마다 이전 대화를 다시 읽고 새 출력을 만듭니다. 단계가 절반 이하면 모델이 읽는 맥락의 누적량도, 새로 쓰는 글자 수도 함께 줄어듭니다. 아래는 가정을 둔 설명용 계산입니다(illustrative, 실측 아님).
# 설명용 가정: 단계마다 새로 생성하는 토큰 수를 같다고 둔다.
tokens_per_turn = 250 # 가정
for name, turns in [("POCKET-27B 원본 가중치", 36.5), ("POCKET-27B-Pi", 15)]:
print(name, "과제당 생성 토큰 어림 =", int(turns * tokens_per_turn))
# POCKET-27B 원본 가중치 과제당 생성 토큰 어림 = 9125
# POCKET-27B-Pi 과제당 생성 토큰 어림 = 3750
단계당 생성량이 같다는 가정이라 절대값은 의미가 없지만, 비율은 단계 수의 비율을 그대로 따릅니다. 사내 서버에서 돌리면 토큰당 요금은 없지만 그래픽카드가 일하는 시간은 그대로 전기와 대기열로 돌아옵니다. 같은 과제를 더 적은 단계로 끝내는 모델은 같은 서버에서 더 많은 과제를 처리할 수 있습니다.
내 팀에는 Q4_K_M과 Q6_K 중 무엇이 맞는가?
두 파일은 같은 모델을 다른 크기로 줄인 것입니다. 이번 측정에서 둘의 차이는 이렇습니다.
| 항목 | Q4_K_M | Q6_K |
|---|---|---|
| 파일 크기 | 16.5GB | 22.1GB |
| 공통 48과제 해결 | 28개 (58.3%) | 27개 (56.3%) |
| 공통 62과제 직접 대결 | 39개 | 39개 |
고르는 기준은 세 가지로 정리할 수 있습니다.
- 그래픽카드 메모리가 24GB라면 Q4_K_M이 모델 외에 긴 맥락(예시의 65,536 토큰)을 올릴 여유를 더 줍니다. 파일이 22.1GB인 Q6_K는 같은 24GB에서 맥락에 쓸 메모리가 훨씬 적습니다.
- 에이전트를 여러 개 동시에 돌릴 계획이라면 파일이 작은 쪽이 같은 장비에서 더 많은 세션을 감당합니다. 이번 측정이 8세션 동시 실행이었다는 점을 떠올리면 됩니다.
- 그래픽카드 메모리가 넉넉하다면 두 파일을 모두 내려받아 팀의 실제 저장소와 과제로 몇 번 돌려 보고 고르면 됩니다. 점수가 이번 측정에서 거의 같으므로, 결정은 메모리와 속도가 좌우합니다.
결과를 팀 안에서 다시 재현하려면 무엇을 고정해야 하는가?
코딩 에이전트 평가는 조건이 조금만 달라져도 숫자가 움직입니다. 비교가 의미를 가지려면 다음을 고정하고 기록해야 합니다.
- 과제 묶음: 어떤 과제를 쓰는지 목록으로 고정합니다. 이번 비교는 네 판이 모두 끝낸 48과제입니다.
- 제한시간과 시도 횟수: 과제당 1회, 1시간으로 정했습니다. 시간 제한은 작은 파일의 응답 속도가 점수로 이어지는 통로이므로 바꾸면 결과도 달라집니다.
- 생각 기능 설정: 모두 끈 상태입니다. 켜면 생성량과 시간이 크게 달라집니다.
- 동시 실행 수: 8세션입니다. 세션 수가 달라지면 단계당 응답 시간이 달라집니다.
-
샘플링 설정: 모델 카드의
--temp 0.8 --top-p 1.0 --top-k 0 --min-p 0을 그대로 씁니다.
이렇게 고정한 뒤에 풀린 과제 수, 단계 수 중앙값, 한도에 걸린 실행 수를 세 줄로 남기면 다음에 모델을 바꿀 때 같은 자로 다시 잴 수 있습니다.
코드가 밖으로 나가지 않는다는 것은 무슨 뜻인가?
기업의 소스 코드는 밖으로 내보내기 가장 어려운 자산 가운데 하나입니다. POCKET-27B-Pi는 사내 PC나 서버 안에서 돌기 때문에 코드가 외부 서비스로 전송되지 않습니다. 사용량에 따른 요금이 없고, 한 번 내려받으면 인터넷이 끊겨도 씁니다. 필요한 장비는 24GB 그래픽카드 한 장입니다.
어떻게 직접 돌려 보는가?
llama.cpp의 llama-server 한 줄이면 됩니다. 아래는 공개 모델 카드와 같은 설정입니다.
llama-server -hf FINAL-Bench/POCKET-27B-Pi-GGUF:Q4_K_M -ngl 999 -c 65536 --port 8080 --alias pocket-27b-pi --temp 0.8 --top-p 1.0 --top-k 0 --min-p 0 --chat-template-kwargs '{"enable_thinking":false}'
그다음 pi 코딩 에이전트가 이 서버를 보도록 ~/.pi/agent/models.json에 추가합니다.
{
"providers": {
"local": {
"baseUrl": "http://localhost:8080/v1",
"api": "openai-completions",
"apiKey": "dummy",
"models": [{ "id": "pocket-27b-pi" }]
}
}
}
pi --provider local --model pocket-27b-pi --print "tests/test_parser.py 테스트가 왜 실패하는지 찾아서 고쳐 줘."
내 환경에서 재 보려면 같은 과제 묶음을 고정하고 세 가지를 같이 기록하면 됩니다. 풀린 과제 수, 과제당 단계 수 중앙값, 한도에 걸린 실행 수입니다. 점수 하나보다 이 세 숫자가 함께 있어야 모델을 바꿀 때 비용과 속도까지 비교할 수 있습니다.
POCKET 제품군에서 코딩 모델은 어디에 있는가?
POCKET은 큰 모델을 개인 기기에 넣는 비드래프트의 제품군입니다. 수학·과학 추론의 POCKET-Darwin-180B, 노트북과 휴대폰용 POCKET-35B, 다국어 대화용 POCKET-26B에 이어 코딩 전문 POCKET-27B-Pi가 더해졌습니다.
- POCKET-27B-Pi: https://huggingface.co/FINAL-Bench/POCKET-27B-Pi-GGUF
- POCKET-Darwin-180B: https://huggingface.co/FINAL-Bench/POCKET-Darwin-180B-GGUF
- POCKET-35B: https://huggingface.co/FINAL-Bench/POCKET-35B-GGUF
- POCKET-26B: https://huggingface.co/FINAL-Bench/POCKET-26B-GGUF
정리하면 무엇이 달라지는가?
이번 공개의 핵심은 세 가지입니다. 첫째, 16.5GB 파일 하나가 같은 장비와 같은 제한시간에서 오리지날 모델보다 47%, 원 정밀도 pi 모델보다 33% 더 많은 과제를 풀었습니다. 둘째, 과제당 단계 수 중앙값이 15단계로 짧아 기다림과 생성량이 함께 줄었습니다. 셋째, 모든 재료와 결과물이 Apache-2.0이고 24GB 그래픽카드 한 장에서 돌아, 코드를 밖으로 보내지 않는 사내 코딩 에이전트를 지금 바로 세울 수 있습니다. 직접 돌려 본 결과나 다른 과제 묶음에서의 숫자는 댓글로 남겨 주세요. 같은 방식으로 이어서 비교하겠습니다.
자주 묻는 질문
Q. 16.5GB 파일이 53.8GB 원 정밀도 모델보다 많이 푼 이유는 무엇인가요?
A. 이 평가는 과제당 1시간 제한이 있는 에이전트 작업입니다. 같은 그래픽카드에서 작은 파일이 더 빨리 답하므로 제한시간 안에 더 많은 단계를 밟고 더 많은 과제를 끝냅니다. Q4_K_M과 Q6_K가 같은 62과제에서 똑같이 39개를 푼 점은 줄인 뒤에도 답의 품질이 유지됨을 보여 줍니다.
Q. 필요한 하드웨어는 무엇인가요?
A. Q4_K_M 기준 파일 16.5GB이고, 24GB 그래픽카드 한 장이면 됩니다. Q6_K는 22.1GB입니다.
Q. 라이선스는 무엇인가요?
A. 재료와 결과물 모두 Apache-2.0입니다.
Q. 인터넷 없이 쓸 수 있나요?
A. 한 번 내려받으면 네트워크 없이 동작합니다. 코드는 사내 장비 밖으로 나가지 않습니다.
Q. 생각 기능을 켜야 하나요?
A. 위 측정은 모두 생각 기능을 끈 상태입니다. 실행 예시의 enable_thinking: false가 같은 설정입니다.
Further reading
來源:DEV Community · dev.to