Tencent présente Hy4 Preview, un nouveau LLM open weight

— Résumé

Tencent a annoncé aujourd'hui Hy4 Preview, un nouveau modèle de langage en poids ouverts (open weight), traitant uniquement du texte en entrée (pas de vision). Le modèle compte 770 milliards de paramètres au total, dont 49 milliards actifs, avec une fenêtre de contexte de 1 million de tokens, pour un poids de 1,56 To sur Hugging Face. Il représente une augmentation significative par rapport au précédent modèle Hy3 de juillet (295 milliards de paramètres, 21 milliards actifs, contexte de 256 000 tokens, 598 Go). L'auteur signale avoir examiné le template de chat (chat_template.jinja) disponible sur Hugging Face, qui révèle deux niveaux d'effort de raisonnement disponibles : « high » (par défaut) et « no_think » (raisonnement désactivé). Un test avec le prompt habituel de génération de pélican en SVG a été effectué via OpenRouter en mode raisonnement élevé.