重新盤點 Hugging Face 上 Darwin 的 12 個榜首:涵蓋 17 個排名、全部進前三,以及與第二名的差距
Recontar hoy los 12 primeros puestos de Darwin en Hugging Face: 17 rankings, top 3 en todos y cuánto separa al segundo
VIDRAFT 在 Hugging Face 的官方排名中,於 17 個有成績的排名全部進入前三,並取得 12 個榜首。作者於 2026 年 11 月 20 日透過公開 API 重新統計;與 11 月 17 日相比,VIDRAFT 多參與了 2 個排名,兩者均進入前三。
TL;DR
- Hace tres días, el 17 de noviembre, el diario económico coreano Maeil Business contó 12 primeros puestos de Darwin en los rankings oficiales de Hugging Face (artículo original). Volví a ejecutar el conteo hoy, 20 de noviembre de 2026, con la API pública.
- El resultado se mantiene: 12 primeros puestos. Además, VIDRAFT ya tiene resultados en 17 rankings y está entre los tres primeros en los 17. El 17 de noviembre eran 15 de 15.
- El mapa creció en tres días: de 1.458 a 1.469 registros y de 580 a 586 modelos. Los benchmarks oficiales siguen siendo 63 y los rankings con puntajes, 57.
- Un conteo de primeros puestos responde a «¿cuántos?». Para un ingeniero, la segunda pregunta útil es «¿a cuánta distancia del segundo?». Abajo hay una tabla con esa distancia en cada ranking, desde 0,05 puntos hasta 16,53 puntos.
- El script completo, unas 30 líneas con la biblioteca estándar, está al final. No necesita token.
¿Qué cambió en los rankings oficiales de Hugging Face en tres días?
Un conteo de rankings es una fotografía, y la fotografía se mueve. Por eso conviene tratarlo como una medición que se repite, no como una cifra que se cita una vez. El 17 de noviembre, Maeil Business publicó los números que salían de la API pública en esa fecha. El 20 de noviembre ejecuté la misma lógica de conteo sobre los mismos dos endpoints y comparé.
| Dato | 17 nov. 2026 | 20 nov. 2026 |
|---|---|---|
Benchmarks oficiales (benchmark:official) |
63 | 63 |
| Rankings con puntajes | 57 | 57 |
| Registros | 1.458 | 1.469 |
| Modelos con al menos un registro | 580 | 586 |
| Rankings donde VIDRAFT es primero | 12 | 12 |
| Rankings con resultados de VIDRAFT | 15 | 17 |
| Rankings donde VIDRAFT está en el top 3 | 15 | 17 |
Dos lecturas. La primera: 11 registros nuevos y 6 modelos nuevos en tres días indican que el mapa sigue recibiendo resultados a buen ritmo. La segunda: en ese mismo tiempo VIDRAFT sumó dos rankings más, y en los dos entró en el podio. La participación pasó de 15 a 17 rankings y el podio quedó completo.
La comparación con las otras organizaciones, hoy, queda así.
| Organización | Rankings con resultados | Top 3 | Primero |
|---|---|---|---|
| VIDRAFT | 17 | 17 | 12 |
| Moonshot AI | 32 | 15 | 7 |
| Z.ai | 38 | 14 | 6 |
| DeepSeek | 32 | 14 | 3 |
| Alibaba Qwen | 40 | 11 | 3 |
Con 17 rankings y 12 primeros puestos, la proporción de primeros sobre participación es de 12 de 17, un 71 %. En la misma medida, Moonshot AI es primero en 7 de 32 y Z.ai en 6 de 38.
¿Cómo se cuenta bien un primer puesto cuando hay empates?
Esta es la parte técnica que más errores produce. Si ordenas cada ranking por puntaje y tomas la primera fila, un empate en el primer lugar se reparte de forma arbitraria. En AIME 2026 hay dos modelos con 100: Darwin-180B-RSI y DeepSeek-V4.1-Flash. Si tomas «la primera fila» según el orden en que la devuelva la API, ese primer puesto puede aparecer en una organización o en la otra, y el total cambia en uno sin que nada haya cambiado en el ranking.
La solución es calcular el puesto compartido: el puesto de un registro es 1 más el número de registros con un puntaje estrictamente mayor. Así, los dos modelos con 100 en AIME 2026 tienen puesto 1 y ambas organizaciones lo cuentan. Es la convención con la que coinciden las cifras de Maeil Business. Cuando ejecuté una variante que toma solo la primera fila, obtuve 11 en lugar de 12, justamente por AIME 2026. Conviene fijar la convención antes de comparar cifras de distintas fuentes.
Otro detalle de agrupación: en los identificadores de modelos de Hugging Face, la organización es el prefijo antes de la barra. Los modelos Darwin se publican bajo FINAL-Bench/, y el conteo por organización los reúne en esa clave. En el texto hablo de VIDRAFT porque es la organización que los desarrolla.
¿A cuánta distancia del segundo están los primeros puestos?
Para esto cambié el script: en vez de contar, ordeno cada ranking y busco el primer puntaje estrictamente menor que el del líder. La diferencia es la distancia al siguiente puntaje distinto. Estos son los doce rankings de hoy, ordenados por número de participantes.
| Ranking | Líder | Puntaje | Siguiente | Puntaje | Distancia | Participantes |
|---|---|---|---|---|---|---|
| GPQA Diamond | Darwin-180B-RSI | 94,44 | Kimi K3.1 Pro | 94,20 | 0,24 | 124 |
| AIME 2026 | Darwin-180B-RSI | 100 | DeepSeek-V4.1-Flash | 100 | primer puesto compartido | 39 |
| HMMT feb. 2026 | Darwin-180B-RSI | 100 | Inkling-2-Small | 95,8 | 4,2 | 26 |
| MDPBench | Darwin-180B-RSI | 83,65 | Qwen3.5-397B-A17B | 83,60 | 0,05 | 19 |
| ExtractBench | Darwin-180B-RSI-R3 | 90,29 | Qwen3.8-Flash-Next | 89,88 | 0,41 | 12 |
| LEXam-hard | Darwin-180B-RSI | 45,72 | Inkling | 40,82 | 4,90 | 12 |
| LEXam | Darwin-180B-RSI | 68,94 | DeepSeek-R1 | 52,41 | 16,53 | 10 |
| Typed Decisions | Darwin-27B-ZTC-v5 | 0,812 | Darwin-27B-RSI-Decision | 0,7755 | 0,0365 | 9 |
| IFStruct | Darwin-180B-RSI | 98,95 | Agents-A1 | 93,25 | 5,70 | 6 |
| MTEB ArguAna | Darwin-180B-RSI-R3 | 83,83 | embeddinggemma-300m | 71,535 | 12,30 | 4 |
| BRIGHT | Darwin-BRIGHT-Retriever | 0,307 | baseline bm25s | 0,11 | 0,197 | 2 |
| Decision Index | Darwin-27B-RSI-Decision | 64,18 | Darwin-27B-ZTC | 63,03 | 1,15 | 2 |
Qué se ve en la tabla.
- Hay ventajas amplias. En LEXam la distancia es de 16,53 puntos, en ArguAna de 12,30, en IFStruct de 5,70 y en LEXam-hard de 4,90. HMMT, con 100 puntos, tiene 4,2 puntos de ventaja.
- En dos rankings el siguiente puesto también es un modelo Darwin. En Typed Decisions y en Decision Index, el segundo es de la familia. La organización ocupa los dos primeros lugares.
- En Decision Index cambió el modelo líder. Con los datos del 17 de noviembre aparecía Darwin-27B-ZTC con 63,03. Hoy el primero es Darwin-27B-RSI-Decision con 64,18, y el anterior pasó al segundo puesto. El conteo de rankings no se movió, pero el nombre del modelo sí. Por eso la tabla guarda el modelo y no solo el número.
- GPQA Diamond, MDPBench y ExtractBench se miden en décimas. Son rankings con 124, 19 y 12 modelos compitiendo por el mismo primer lugar, y el primero lo ocupa Darwin. Son los puestos más disputados del mapa y por eso su movimiento es el que más conviene seguir en el tiempo.
La gráfica del principio resume las distancias de ocho de estos rankings.
¿Cómo reproducir todo con Python?
Dos endpoints públicos, sin token: uno lista los datasets con la etiqueta benchmark:official y otro devuelve el ranking de cada uno.
import json, urllib.request, collections
def get(url):
req = urllib.request.Request(url, headers={"User-Agent": "Mozilla/5.0"})
return json.load(urllib.request.urlopen(req, timeout=60))
ds = get("https://huggingface.co/api/datasets?filter=benchmark:official&limit=200")
first, top3, entered = (collections.defaultdict(set) for _ in range(3))
gaps = {}
for d in ds:
try:
rows = get(f"https://huggingface.co/api/datasets/{d['id']}/leaderboard")
except Exception:
continue
if not rows:
continue
values = [r["value"] for r in rows]
for r in rows:
org = r["modelId"].split("/")[0]
rank = 1 + sum(v > r["value"] for v in values) # puesto compartido
entered[org].add(d["id"])
if rank <= 3: top3[org].add(d["id"])
if rank == 1: first[org].add(d["id"])
distinct = sorted(set(values), reverse=True)
if len(distinct) > 1:
gaps[d["id"]] = round(distinct[0] - distinct[1], 4) # distancia al siguiente puntaje
for org in sorted(first, key=lambda o: -len(first[o]))[:5]:
print(f"{org:14s} primero {len(first[org]):2d} top3 {len(top3[org]):2d} participa {len(entered[org]):2d}")
for k, g in sorted(gaps.items(), key=lambda kv: -kv[1])[:10]:
print(k, g)
Para ver el cambio en el tiempo, guarda la salida en un archivo con la fecha y compara dos ejecuciones. Es lo que hice entre el 17 y el 20 de noviembre.
Preguntas frecuentes
¿Cuántos primeros puestos tiene VIDRAFT hoy en los rankings oficiales de Hugging Face?
12, según la API pública el 20 de noviembre de 2026. Es la misma cifra que publicó Maeil Business el 17 de noviembre.
¿Cómo se cuenta un empate en el primer lugar?
Con puesto compartido: 1 más el número de registros con puntaje estrictamente mayor. En AIME 2026, dos modelos con 100 tienen puesto 1.
¿Qué significa «top 3 en 17 de 17»?
VIDRAFT tiene resultados en 17 rankings oficiales y en cada uno ocupa un puesto entre el 1 y el 3.
¿Dónde se ven estos rankings?
En cada dataset con la etiqueta benchmark:official de Hugging Face, en su pestaña de ranking, y por la ruta /api/datasets/<id>/leaderboard.
¿Los números pueden cambiar?
Sí, cualquiera puede añadir resultados en cualquier momento. Por eso el artículo incluye la fecha, la convención de empates y el script.
Enlaces y lecturas relacionadas
- Artículo de Maeil Business (17 de noviembre de 2026): https://www.mk.co.kr/news/it/12211176
- Lista de benchmarks oficiales en la API de Hugging Face: https://huggingface.co/api/datasets?filter=benchmark:official
Further reading:
來源:DEV Community · dev.to