El equipo de Qwen de Alibaba ha anunciado Qwen3.8-Flash-Next, una versión preliminar abierta de la arquitectura que utilizará para Qwen4. Este modelo cuenta con 125 mil millones de parámetros, pero solo activa 6 mil millones por token. Su licencia podría no calificar para la exención de código abierto del AI Act de la UE.
Contexto y Antecedentes
El anuncio de Alibaba sobre Qwen3.8-Flash-Next se produce en un momento en que las empresas de tecnología están buscando formas de optimizar el uso de recursos computacionales en modelos de lenguaje de gran tamaño. Qwen4, que se espera que sea la próxima versión de Qwen, ha generado especulaciones sobre cómo la empresa chinesa planea manejar el creciente consumo de cálculos en modelos de lenguaje con contextos largos y complejos.
Objetivos de Costo y Eficiencia
El equipo de Qwen enfatiza que su principal preocupación es la eficiencia de la inferencia, especialmente en trabajos agientes con contextos muy largos. Qwen3.8-Flash-Next reduce la cantidad de parámetros activos por token a un tercio de los de Qwen3.7-Plus, lo que implica un ahorro significativo en cálculos. Esta optimización se logra mediante la implementación de nuevas estrategias de atención esparsa, mecanismos de residuales con barreras y una receta de entrenamiento sin calentamiento de tamaños de lote.
Innovaciones en la Arquitectura
Una de las innovaciones más notables es la adición de 51 mil millones de parámetros adicionales como un embedding separado, indexado por fragmentos de dos y tres caracteres. Este diseño busca reducir el costo computacional y facilitar la desfragmentación en aceleradores con limitaciones de memoria. Esta decisión es significativa, ya que refleja la realidad de que las empresas chinas de tecnología a menudo se enfrentan a restricciones de exportación que les impiden acceder a los mejores chips.
Licencia y Implicaciones Legales
La licencia de Qwen3.8-Flash-Next es un tema de preocupación, especialmente en el contexto del AI Act de la UE. Los pesos del modelo se encuentran en Hugging Face bajo la licencia qwen-community, y Alibaba ha expresado su intención de cobrar a sus usuarios comerciales más grandes. Esta decisión podría tener implicaciones significativas para la exención de código abierto en el AI Act, ya que la recital 103 menciona que componentes proporcionados a cambio de un precio o monetizados no deben beneficiarse de la exención.
Efectos en la Industria
El anuncio de Alibaba ha generado una serie de reacciones en la comunidad tecnológica y regulatoria. Thomson Reuters, por ejemplo, ha construido su propio modelo basado en Qwen, lo que implica que cualquier empresa que utilice Qwen3.8-Flash-Next heredará las implicaciones legales asociadas a su licencia. Este desarrollo podría tener implicaciones significativas para la competencia en el mercado de modelos de lenguaje de gran tamaño y la implementación de regulaciones de la UE.
💡 La Opinión de ExploxTV
El anuncio de Alibaba sobre Qwen3.8-Flash-Next marca un paso importante en la optimización de modelos de lenguaje de gran tamaño. Sin embargo, las implicaciones legales y regulatorias son complejas y podrían tener un impacto significativo en la industria de la inteligencia artificial. La comunidad tecnológica y regulatoria estará atenta a cómo se resuelve este asunto.