Falcon 180B
Modelo de pesos abiertos de TII que encabezó los rankings abiertos en su lanzamiento
Falcon 180B es un modelo de lenguaje de 180 000 millones de parámetros que el Technology Innovation Institute de Emiratos Árabes Unidos publicó en septiembre de 2023, entrenado con 3,5 billones de tokens. En el lanzamiento era el modelo de lenguaje abierto más grande disponible y encabezó el Open LLM Leaderboard de Hugging Face: superó a Llama 2 70B e igualó o superó a GPT-3.5 en varios benchmarks, con un MMLU de alrededor de 70. TII lo distribuyó bajo una licencia libre de regalías basada en Apache 2.0, con una cláusula añadida que exige permiso aparte para despliegues alojados que ofrezcan el modelo a terceros. Su ventana de contexto de 2048 tokens queda corta vista desde ahora, y Falcon 180B ha quedado en gran medida superado por las generaciones más pequeñas y eficientes Falcon 2 y Falcon 3 de TII, pero sigue siendo una referencia de hasta dónde habían llegado los modelos de pesos abiertos a finales de 2023.