Instruct officiel 3.2
`mistralai/Mistral-Small-3.2-24B-Instruct-2506` est une mise à jour mineure de 3.1. La card mentionne les instructions, la répétition et le function calling.
Français
MISTRAL 24B PRESET
Un preset contient des hypothèses
Un preset Mistral 24B peut enregistrer le modèle, les notes de l’auteur, le chat template, le system prompt et les samplers. Si la source, la version ou la quantification change, vous pouvez obtenir une réponse vide, des marqueurs visibles, une boucle ou un texte qui parle à la place de l’utilisateur. Vérifiez chaque couche avant l’import.
COMMENCEZ PAR LE MODEL ID
24B est une taille, pas un nom
Notez le slug complet du dépôt ou du fournisseur avant de modifier les réglages. Vous éviterez d’appliquer le template 3.2 à un fichier 3.1 ou de confondre un merge communautaire avec un checkpoint officiel.
Version officielle précédente
`mistralai/Mistral-Small-3.1-24B-Instruct-2503` est un checkpoint distinct. Ne déduisez pas son template de celui de 3.2.
Fichiers RP communautaires
Magistry, Cydonia et Magidonia sont des fine-tunes ou des merges. Consultez leur propre card pour la licence, le format et le sampler.
Base, instruct et quantification
Base et instruct sont des checkpoints différents. GGUF, AWQ et Q4/Q5/Q6 désignent des formats ou quantifications, pas de nouveaux modèles officiels.
PARCOURS DE CONFIGURATION
Choisissez le serveur avant SillyTavern
SillyTavern est l’interface de chat. Le modèle a besoin d’un serveur local ou d’un endpoint fournisseur. Choisissez selon votre matériel et votre confidentialité.
GPU local ou Mac
La card 3.2 indique environ 55 Go de mémoire GPU en BF16/FP16. Les GGUF plus petits réduisent la mémoire au prix de la vitesse et de la qualité : vérifiez le fichier réel.
Serveur vLLM
Mistral recommande vLLM 0.9.1 ou plus récent et `mistral_common` 1.6.2 ou plus récent. Utilisez le format Mistral et l’ID exact.
Fournisseur ou API compatible OpenAI
Copiez le slug et l’endpoint exacts. Le libellé « Mistral 24B » ne suffit pas pour choisir le template SillyTavern.
Connecter SillyTavern
Utilisez Chat Completion si le backend accepte les messages par rôle. Text Completion est réservé aux backends qui le demandent. Vérifiez aussi la clé, le modèle et le contexte.
RÉGLAGE DU ROLEPLAY
Le template avant le sampler
Un mauvais template ressemble à un modèle faible. Corrigez le format et le contexte avant de modifier la génération avec un test court et répétable.
Utilisez le format Mistral du backend
Laissez si possible le tokenizer ou le serveur appliquer la chat template. Si `<s>` ou des marqueurs de rôle apparaissent, corrigez le format.
Gardez une card concise
Séparez faits fixes, objectifs actuels et état de scène. Retirez le lore dupliqué et les consignes qui font écrire le modèle à la place de l’utilisateur.
Notez une base
Commencez par les valeurs de la card du modèle ou du fine-tune. La card officielle 3.2 suggère une température basse comme 0,15 en usage général ; les modèles RP peuvent différer.
Les stop strings sont propres au modèle
Un stop string Llama ou ChatML peut couper Mistral ou afficher des marqueurs. Copiez la recommandation du checkpoint et testez deux tours.
Les échanges communautaires citent des réponses vides, la répétition, une narration étrange et un débit lent. Ce sont des symptômes, pas une règle pour tous les fichiers.
SYMPTÔME → VÉRIFICATION → ACTION
Trouvez la couche en cause
Ne changez qu’une variable, gardez le même prompt court et notez le résultat. Commencez par le nom, l’endpoint et le template.
| Symptôme | Vérifier | Action suivante |
|---|---|---|
| Réponse vide | Endpoint, slug, template de contexte, stop strings. | Envoyez un prompt court et utilisez le template Mistral exact du backend. |
| Marqueurs dans le texte | SillyTavern, serveur ou tokenizer applique le template ? | Gardez un seul responsable du format et inspectez le prompt brut. |
| Le modèle écrit pour l’utilisateur | Carte et exemples de dialogue. | Définissez l’agence de l’utilisateur et supprimez les exemples contradictoires. |
| Répétition ou boucle | Lore dupliqué, contexte, sampler et quantification. | Réduisez le bruit, revenez à la base et changez une valeur à la fois. |
| Débit très lent | Quantification, offload, RAM/VRAM et contexte. | Comparez le fichier à votre matériel. L’offload CPU partiel peut ralentir fortement. |
| Comportement inattendu | Base/instruct, 3.1/3.2, officiel/communautaire. | Notez l’ID complet et réappliquez la card du dépôt. |
ESPACE DE RECHERCHE, PAS UN RUNNER
Gardez la model card près du chat
Tabbit ne remplace pas SillyTavern et n’exécute pas ce checkpoint local. Lors de notre vérification, son répertoire public ne listait pas Mistral. Utilisez-le pour réunir cards, quantifications, notes et discussions.
- 1
Ouvrir la card et la page de quantification
Gardez l’ID, le matériel et les instructions de template visibles. Ajoutez une card communautaire après avoir séparé le checkpoint officiel.
- 2
Référencer les onglets avec @
Utilisez @ pour inclure une page, une capture ou une note locale et demander une checklist qui conserve les IDs.
- 3
Comparer les modèles affichés
Tabbit compare les modèles visibles dans son sélecteur et résume les sources. La liste change : vérifiez-la après installation.
CHOISIR LA BONNE SURFACE
Contrôle RP local ou contexte du navigateur ?
Les outils ne répondent pas au même besoin. Gardez SillyTavern pour les cards, samplers et backend ; utilisez Tabbit pour les pages et fichiers.
| SillyTavern + backend | Tabbit | |
|---|---|---|
| Exécuter Mistral 24B en local | Oui, avec un serveur compatible | Non promis |
| Cards et samplers | Contrôle détaillé | Référencer les notes |
| Sources officielles et communautaires | Coller ou changer d’app | @ onglets, fichiers, pages |
| Comparer les modèles | Changer endpoint ou preset | Comparer le sélecteur |
| Diagnostic matériel | VRAM, offload, tokens/sec | Organiser les preuves |
FAQ
Questions sur Mistral 24B et SillyTavern
Que signifie Mistral 24B ?+
Il s’agit souvent d’un checkpoint Mistral Small de 24 milliards de paramètres, mais aussi de 3.1, 3.2, de quantifications ou de merges RP. Utilisez l’ID complet.
Quel modèle officiel choisir ?+
La page officielle de ce guide est `mistralai/Mistral-Small-3.2-24B-Instruct-2506`, une mise à jour mineure de 3.1. Choisissez la version réellement proposée par votre serveur.
Tient-il sur un seul GPU ?+
L’annonce 3.1 cite une RTX 4090 ou un Mac de 32 Go ; la card 3.2 indique environ 55 Go de mémoire GPU en BF16/FP16. Vérifiez la quantification réelle.
Chat Completion ou Text Completion ?+
Suivez le backend et la card. Dans SillyTavern, ce choix concerne la construction du prompt, pas le caractère local ou cloud.
Pourquoi le modèle répète-t-il ou parle-t-il à ma place ?+
Vérifiez ID, template, card dupliquée et sampler. Un frontend mal configuré peut produire les mêmes symptômes.
Tabbit exécute-t-il Mistral 24B ?+
Ne le supposez pas. Mistral n’apparaissait pas dans le répertoire public de Tabbit lors de la vérification. Tabbit sert ici à rassembler et comparer les sources.
Réunissez checkpoint, template et preuves
Confirmez l’ID Mistral, connectez le serveur puis ajustez SillyTavern avec un test court. Utilisez Tabbit quand cards, quantifications et discussions sont dispersées.
Disponible sur macOS et Windows. La liste des modèles peut changer.