Arena Cat

Avaluació humana de models d'IA en català.

La plataforma és a arena.softcatala.org.

Plataforma participativa, inspirada en LMSYS Chatbot Arena, centrada exclusivament a mesurar la competència en llengua catalana dels models de llenguatge gran (LLMs). A diferència de les avaluacions automàtiques, aquí són persones les que comparen, a cegues, les respostes de dos models davant d'una mateixa tasca i decideixen quina és millor. Si l'experiència té èxit, la plataforma es podria generalitzar a altres llengües que també necessitin una avaluació humana pròpia.

🧮 Dimensionament: estimem els vots, les hores humanes i els usuaris necessaris si cadascun ho avalua tot amb un simulador. Vegeu els detalls a avaluadors.

Documentació

Document	Contingut
Projecte	Motivació i metodologia d'avaluació
Sistema	Arquitectura, dades, models, versionatge, votació, rànquing i desplegament
Backend	Entorn de desenvolupament, API, proves i migracions
Frontend	Execució i configuració de la interfície web
Canonada d'inferència	Generació, anàlisi i càrrega de respostes

Posada en marxa local

Requisits: Docker i Docker Compose. Revisa la configuració de .env.example; make run la copia a .env si encara no existeix.

Des de l'arrel del repositori:

make run  # arrenca PostgreSQL, aplica les migracions i inicia l'API i la interfície

L'API queda disponible a http://127.0.0.1:8000 i la interfície a http://127.0.0.1:5173. Els canvis al codi de l'API i de la interfície es recarreguen automàticament. Les dependències del frontend s'instal·len en un volum de Docker.

En una altra terminal, carrega les dades de referència (requereix uv):

make load_reference_inferences  # carrega les dades de la branca dades_inferencia

La interfície permet completar la qualificació abans de votar. Per executar proves del backend a l'amfitrió, prepara l'entorn amb make setup. Per executar la interfície fora de Docker, consulta la guia del frontend. Amb sessió iniciada, la pàgina Activitat permet consultar els recomptes diaris de la plataforma.

make run deixa els serveis en primer pla. Per aturar-los, prem Ctrl+C; per eliminar els contenidors aturats, executa docker compose down.

Per generar inferències pròpies, consulta la guia de la canonada. La configuració dels serveis i la càrrega en producció es descriuen a execució i desplegament.

També hi ha objectius per a tasques habituals:

make test     # executa els tests del backend
make check    # executa Ruff
make format   # formata el codi del backend amb Ruff

make frontend-check  # comprova tipus i format del frontend

Vols col·laborar-hi? T'estem buscant

Busquem persones per mantenir i ampliar la plataforma i per participar en les avaluacions.

Desenvolupament i dades. Hi pots contribuir des de diferents àmbits:

• 🤖 Aprenentatge automàtic / IA: per crear les canonades d'avaluació: executar la inferència dels models, gestionar els prompts i preparar les dades que veuran els avaluadors humans.
• 📊 Estadística: per dimensionar el volum d'avaluacions, validar la metodologia (Bradley-Terry / Elo) i garantir la robustesa dels rànquings.
• ⚙️ Python: per millorar la canonada d'inferència i el backend (FastAPI + PostgreSQL).
• 📚 Lingüística: per definir els prompts d'avaluació de manera que cobreixin bé les dificultats reals del català (ortografia, registre, varietats dialectals, referències culturals) i fixar criteris clars per als avaluadors.

No cal que domineu totes les àrees: si us hi veieu en alguna, uniu-vos al grup de Telegram.

Avaluadors voluntaris. Necessitem persones catalanoparlants per comparar respostes a cegues i votar quina és millor. Cada vot dura aproximadament 2 minuts; vegeu les estimacions al dimensionament d'avaluadors. Si tens criteri lingüístic en català i vols ajudar-nos amb una estoneta, també et volem.

Per entrar al projecte i col·laborar-hi, només cal que us uniu al grup de Telegram.

Full de ruta

Amb la prova de concepte completada, la propera fita és ampliar el nombre de models avaluats. Les fites posteriors ampliaran també les categories, els prompts per categoria i l’objectiu de vots fins a assolir robustesa estadística.

Fita 2: Expansió del concepte

Ampliarem l'abast incorporant més models a l'avaluació, mantenint la mateixa plataforma i metodologia.

Col·laboradors

Jordi Mas	Albert Casanovas	Carmen C. L.	bytesontherocks	Esteve Castells	Gerard Martínez Canelles
AntoniBrosa	Isaac Nicolas	Martí	Arnau Berenguer Jiménez	Miquel Piulats

Llicència

Vegeu LICENSE.

Els usuaris poden activar recordatoris opcionals per correu per continuar contribuint. El servei reminders de Docker Compose en programa l’enviament setmanal.