TabbitBlog

Avis sur HY4 Flash : résultats et limites des benchmarks

Comparez les résultats internes de Tencent au test ponctuel de Plotly et examinez les erreurs de HY4 Flash ainsi que les usages étayés.

Dans cet article
  1. À retenir
  2. Éléments disponibles
  3. Ce que révèlent les erreurs
  4. Les questions de la communauté
  5. Verdict : commencer par des tâches vérifiables

Les éléments publics sur HY4 Flash sont prometteurs mais limités. Plotly rapporte 39/43 sur une exécution de DataAnalyticsBench, à $0,13 et 29 secondes médianes par question. Le modèle a raté quatre questions, dont trois sur des motifs cachés. Les résultats internes de Tencent concernent davantage de tâches bureautiques, mais restent des évaluations du fournisseur. Cet article ne présente ni test de l'auteur ni essai dans Tabbit.

La bonne question est de savoir quelles tâches tolèrent les erreurs observées et bénéficient du faible tarif. Tencent recommande Flash pour le quotidien et HY4 pour le développement logiciel de longue durée. Consultez les tarifs de HY4 Flash et la comparaison avec HY4.

À retenir

  • Une exécution Plotly a obtenu 39/43 sur des questions privées.

  • Les quatre erreurs comprenaient trois motifs cachés et un piège statistique.

  • Le test WorkBuddy de Tencent, 85 utilisateurs et 259 tâches, n'est pas une reproduction indépendante.

  • Un utilisateur Reddit dit que trois modèles ont réussi un calcul simple, mais DeepSeek était plus rapide dans cet essai.

  • Vérifiez les sorties sur un critère fixe avant de confier une tâche importante.

Éléments disponibles

SourceRésultatCe que cela montreLimite
Plotly DataAnalyticsBench39/43, $0,13, médiane 29 s/questionUn environnement analytique multi-étapesQuestions privées, une exécution
Tencent WorkIndexTâches bureautiques; coût annoncé à 1/8 de DeepSeek 1017Positionnement quotidien de TencentÉvaluation et protocole internes
Test WorkBuddy85 personnes, 259 tâches, 27 catégoriesPréférence dans un produit donnéPas de variance ni de répétition indépendante
Calcul publicitaire RedditTrois modèles corrects; DeepSeek 7 s, Flash 19 sComparaison individuelle limitéeUne exécution, sans tokens ni journaux

Plotly indique avoir conservé le même outil et les mêmes règles, sur un jeu privé de données synthétiques de parc éolien. HY4 a obtenu 42/43, à $2,11 et 117 secondes par question. Cela indique un compromis propre à ce test ; ce n'est pas la preuve que Flash est toujours quatre fois plus rapide ou seize fois moins cher.

Ce que révèlent les erreurs

Trois erreurs portaient sur des motifs que le modèle devait découvrir dans les données ; la quatrième sur un seuil statistique. Réussir les calculs ordinaires ne garantit donc pas la détection d'un signal inattendu.

TravailPoint de départVérification
Calculs répétitifs ou extractionEssai bornéComparer à un résultat attendu
Question ambiguëPlotly rapporte 5/5Répéter sur ses données
Anomalie cachéePrudence : Plotly rapporte 2/5Deuxième vérification ou modèle
Développement longTencent recommande HY4Valider l'ensemble du flux

Tencent annonce plus de 150 tokens/s et un coût WorkIndex par tâche d'un huitième de DeepSeek V4.1 Flash 1017 en mode Max et au tarif de pointe. Ce sont des chiffres de l'évaluation interne Tencent. Le test indépendant de Plotly décrit mieux sa méthode, mais ne publie pas ses questions.

Les questions de la communauté

Un utilisateur Reddit demande si le modèle « does it pick the right tool or just guess ». C'est une question, pas un échec observé. Un autre demande où sont les poids ouverts ; Tencent annonce un projet futur de publication. Voir le fil.

Dans un autre test de calcul WorkBuddy, l'auteur indique : “DeepSeek finished in 7s. Hy4 and GLM both showed 19s.” Il affirme que les trois ont obtenu le calcul juste, mais ne publie pas les tokens ni les sorties brutes. Publication originale.

Image d'un post Reddit montrant les calculs publicitaires WorkBuddy et le temps rapporté pour HY4 Flash
Une comparaison publiée sur Reddit, sans facture mesurée ni essais répétés.

Verdict : commencer par des tâches vérifiables

HY4 Flash mérite un essai contrôlé si la tâche est répétitive, vérifiable et sensible au tarif TokenHub. Les erreurs de motifs cachés justifient une revue humaine pour l'analyse ouverte. Comparez HY4 Flash à DeepSeek V4.1 Flash et consultez les tarifs.

L'API du modèle n'est pas un navigateur. Consultez les ressources HY4 Flash (English), le workflow navigateur Tencent Hy4, celui de DeepSeek V4.1 Flash, le guide DeepSeek Harness, l'exemple Feishu Base, le guide Tabbit CLI et la liste de première tâche.

Hy4 Flash est disponible dans Tabbit Browser. Téléchargez Tabbit, puis sélectionnez Hy4 Flash dans la liste des modèles du chat pour l’essayer.

Tabbit Browser

Questions fréquentes

Quel résultat HY4 Flash a-t-il obtenu dans un test indépendant ?

Plotly rapporte 39 réponses correctes sur 43 lors d'une seule exécution de son DataAnalyticsBench privé, à $0,13 et 29 secondes médianes par question. Ce n'est ni un test répété ni un taux de réussite général.

HY4 Flash est-il meilleur que HY4 ?

Dans l'exécution Plotly, non : HY4 a obtenu 42/43 et Flash 39/43. Flash coûtait moins cher et répondait plus vite dans ce test, sans que cela prédise toutes les charges.

HY4 Flash est-il open source ?

Tencent a annoncé son intention de publier les poids, sans date. Vérifiez qu'un poids et une licence soient effectivement disponibles avant de prévoir un déploiement local.

Le benchmark prouve-t-il la fiabilité des appels d'outils ?

Plotly a utilisé un agent analytique multi-étapes, mais son test privé ne prouve pas la fiabilité dans d'autres clients. Un fil Reddit pose justement la question du comportement en boucle.

Puis-je utiliser HY4 Flash dans Tabbit ?

Hy4 Flash est disponible dans Tabbit Browser. Téléchargez Tabbit, puis sélectionnez Hy4 Flash dans la liste des modèles du chat pour l’essayer.

Passez à la suite

Laissez Tabbit travailler à vos côtés.

Faites des recherches entre les onglets, automatisez les tâches répétitives du navigateur et gardez chaque élément de contexte à portée de main.