跳到正文
DEV Community· 김민식/학생·· 1 天前AI 評分46

重新盤點 Hugging Face 上 Darwin 的 12 個榜首:涵蓋 17 個排名、全部進前三,以及與第二名的差距

Recontar hoy los 12 primeros puestos de Darwin en Hugging Face: 17 rankings, top 3 en todos y cuánto separa al segundo

AI 導讀

VIDRAFT 在 Hugging Face 的官方排名中,於 17 個有成績的排名全部進入前三,並取得 12 個榜首。作者於 2026 年 11 月 20 日透過公開 API 重新統計;與 11 月 17 日相比,VIDRAFT 多參與了 2 個排名,兩者均進入前三。

正文

TL;DR

  • Hace tres días, el 17 de noviembre, el diario económico coreano Maeil Business contó 12 primeros puestos de Darwin en los rankings oficiales de Hugging Face (artículo original). Volví a ejecutar el conteo hoy, 20 de noviembre de 2026, con la API pública.
  • El resultado se mantiene: 12 primeros puestos. Además, VIDRAFT ya tiene resultados en 17 rankings y está entre los tres primeros en los 17. El 17 de noviembre eran 15 de 15.
  • El mapa creció en tres días: de 1.458 a 1.469 registros y de 580 a 586 modelos. Los benchmarks oficiales siguen siendo 63 y los rankings con puntajes, 57.
  • Un conteo de primeros puestos responde a «¿cuántos?». Para un ingeniero, la segunda pregunta útil es «¿a cuánta distancia del segundo?». Abajo hay una tabla con esa distancia en cada ranking, desde 0,05 puntos hasta 16,53 puntos.
  • El script completo, unas 30 líneas con la biblioteca estándar, está al final. No necesita token.

Ventaja de Darwin sobre el segundo puesto en ocho rankings oficiales

¿Qué cambió en los rankings oficiales de Hugging Face en tres días?

Un conteo de rankings es una fotografía, y la fotografía se mueve. Por eso conviene tratarlo como una medición que se repite, no como una cifra que se cita una vez. El 17 de noviembre, Maeil Business publicó los números que salían de la API pública en esa fecha. El 20 de noviembre ejecuté la misma lógica de conteo sobre los mismos dos endpoints y comparé.

Dato 17 nov. 2026 20 nov. 2026
Benchmarks oficiales (benchmark:official) 63 63
Rankings con puntajes 57 57
Registros 1.458 1.469
Modelos con al menos un registro 580 586
Rankings donde VIDRAFT es primero 12 12
Rankings con resultados de VIDRAFT 15 17
Rankings donde VIDRAFT está en el top 3 15 17

Dos lecturas. La primera: 11 registros nuevos y 6 modelos nuevos en tres días indican que el mapa sigue recibiendo resultados a buen ritmo. La segunda: en ese mismo tiempo VIDRAFT sumó dos rankings más, y en los dos entró en el podio. La participación pasó de 15 a 17 rankings y el podio quedó completo.

Participación, top 3 y primeros puestos de las cinco organizaciones principales al 20 de noviembre

La comparación con las otras organizaciones, hoy, queda así.

Organización Rankings con resultados Top 3 Primero
VIDRAFT 17 17 12
Moonshot AI 32 15 7
Z.ai 38 14 6
DeepSeek 32 14 3
Alibaba Qwen 40 11 3

Con 17 rankings y 12 primeros puestos, la proporción de primeros sobre participación es de 12 de 17, un 71 %. En la misma medida, Moonshot AI es primero en 7 de 32 y Z.ai en 6 de 38.

El mapa de benchmarks oficiales entre el 17 y el 20 de noviembre

¿Cómo se cuenta bien un primer puesto cuando hay empates?

Esta es la parte técnica que más errores produce. Si ordenas cada ranking por puntaje y tomas la primera fila, un empate en el primer lugar se reparte de forma arbitraria. En AIME 2026 hay dos modelos con 100: Darwin-180B-RSI y DeepSeek-V4.1-Flash. Si tomas «la primera fila» según el orden en que la devuelva la API, ese primer puesto puede aparecer en una organización o en la otra, y el total cambia en uno sin que nada haya cambiado en el ranking.

La solución es calcular el puesto compartido: el puesto de un registro es 1 más el número de registros con un puntaje estrictamente mayor. Así, los dos modelos con 100 en AIME 2026 tienen puesto 1 y ambas organizaciones lo cuentan. Es la convención con la que coinciden las cifras de Maeil Business. Cuando ejecuté una variante que toma solo la primera fila, obtuve 11 en lugar de 12, justamente por AIME 2026. Conviene fijar la convención antes de comparar cifras de distintas fuentes.

Otro detalle de agrupación: en los identificadores de modelos de Hugging Face, la organización es el prefijo antes de la barra. Los modelos Darwin se publican bajo FINAL-Bench/, y el conteo por organización los reúne en esa clave. En el texto hablo de VIDRAFT porque es la organización que los desarrolla.

¿A cuánta distancia del segundo están los primeros puestos?

Para esto cambié el script: en vez de contar, ordeno cada ranking y busco el primer puntaje estrictamente menor que el del líder. La diferencia es la distancia al siguiente puntaje distinto. Estos son los doce rankings de hoy, ordenados por número de participantes.

Ranking Líder Puntaje Siguiente Puntaje Distancia Participantes
GPQA Diamond Darwin-180B-RSI 94,44 Kimi K3.1 Pro 94,20 0,24 124
AIME 2026 Darwin-180B-RSI 100 DeepSeek-V4.1-Flash 100 primer puesto compartido 39
HMMT feb. 2026 Darwin-180B-RSI 100 Inkling-2-Small 95,8 4,2 26
MDPBench Darwin-180B-RSI 83,65 Qwen3.5-397B-A17B 83,60 0,05 19
ExtractBench Darwin-180B-RSI-R3 90,29 Qwen3.8-Flash-Next 89,88 0,41 12
LEXam-hard Darwin-180B-RSI 45,72 Inkling 40,82 4,90 12
LEXam Darwin-180B-RSI 68,94 DeepSeek-R1 52,41 16,53 10
Typed Decisions Darwin-27B-ZTC-v5 0,812 Darwin-27B-RSI-Decision 0,7755 0,0365 9
IFStruct Darwin-180B-RSI 98,95 Agents-A1 93,25 5,70 6
MTEB ArguAna Darwin-180B-RSI-R3 83,83 embeddinggemma-300m 71,535 12,30 4
BRIGHT Darwin-BRIGHT-Retriever 0,307 baseline bm25s 0,11 0,197 2
Decision Index Darwin-27B-RSI-Decision 64,18 Darwin-27B-ZTC 63,03 1,15 2

Qué se ve en la tabla.

  1. Hay ventajas amplias. En LEXam la distancia es de 16,53 puntos, en ArguAna de 12,30, en IFStruct de 5,70 y en LEXam-hard de 4,90. HMMT, con 100 puntos, tiene 4,2 puntos de ventaja.
  2. En dos rankings el siguiente puesto también es un modelo Darwin. En Typed Decisions y en Decision Index, el segundo es de la familia. La organización ocupa los dos primeros lugares.
  3. En Decision Index cambió el modelo líder. Con los datos del 17 de noviembre aparecía Darwin-27B-ZTC con 63,03. Hoy el primero es Darwin-27B-RSI-Decision con 64,18, y el anterior pasó al segundo puesto. El conteo de rankings no se movió, pero el nombre del modelo sí. Por eso la tabla guarda el modelo y no solo el número.
  4. GPQA Diamond, MDPBench y ExtractBench se miden en décimas. Son rankings con 124, 19 y 12 modelos compitiendo por el mismo primer lugar, y el primero lo ocupa Darwin. Son los puestos más disputados del mapa y por eso su movimiento es el que más conviene seguir en el tiempo.

La gráfica del principio resume las distancias de ocho de estos rankings.

¿Cómo reproducir todo con Python?

Dos endpoints públicos, sin token: uno lista los datasets con la etiqueta benchmark:official y otro devuelve el ranking de cada uno.

import json, urllib.request, collections

def get(url):
    req = urllib.request.Request(url, headers={"User-Agent": "Mozilla/5.0"})
    return json.load(urllib.request.urlopen(req, timeout=60))

ds = get("https://huggingface.co/api/datasets?filter=benchmark:official&limit=200")
first, top3, entered = (collections.defaultdict(set) for _ in range(3))
gaps = {}
for d in ds:
    try:
        rows = get(f"https://huggingface.co/api/datasets/{d['id']}/leaderboard")
    except Exception:
        continue
    if not rows:
        continue
    values = [r["value"] for r in rows]
    for r in rows:
        org = r["modelId"].split("/")[0]
        rank = 1 + sum(v > r["value"] for v in values)  # puesto compartido
        entered[org].add(d["id"])
        if rank <= 3: top3[org].add(d["id"])
        if rank == 1: first[org].add(d["id"])
    distinct = sorted(set(values), reverse=True)
    if len(distinct) > 1:
        gaps[d["id"]] = round(distinct[0] - distinct[1], 4)  # distancia al siguiente puntaje

for org in sorted(first, key=lambda o: -len(first[o]))[:5]:
    print(f"{org:14s} primero {len(first[org]):2d}  top3 {len(top3[org]):2d}  participa {len(entered[org]):2d}")
for k, g in sorted(gaps.items(), key=lambda kv: -kv[1])[:10]:
    print(k, g)

Para ver el cambio en el tiempo, guarda la salida en un archivo con la fecha y compara dos ejecuciones. Es lo que hice entre el 17 y el 20 de noviembre.

Preguntas frecuentes

¿Cuántos primeros puestos tiene VIDRAFT hoy en los rankings oficiales de Hugging Face?
12, según la API pública el 20 de noviembre de 2026. Es la misma cifra que publicó Maeil Business el 17 de noviembre.

¿Cómo se cuenta un empate en el primer lugar?
Con puesto compartido: 1 más el número de registros con puntaje estrictamente mayor. En AIME 2026, dos modelos con 100 tienen puesto 1.

¿Qué significa «top 3 en 17 de 17»?
VIDRAFT tiene resultados en 17 rankings oficiales y en cada uno ocupa un puesto entre el 1 y el 3.

¿Dónde se ven estos rankings?
En cada dataset con la etiqueta benchmark:official de Hugging Face, en su pestaña de ranking, y por la ruta /api/datasets/<id>/leaderboard.

¿Los números pueden cambiar?
Sí, cualquiera puede añadir resultados en cualquier momento. Por eso el artículo incluye la fecha, la convención de empates y el script.

Enlaces y lecturas relacionadas

Further reading:

來源:DEV Community · dev.to