thinkingのマーカーが返答に出る
temperatureを触る前に、instructまたはchat template、tokenizer、reasoning modeを確認します。<|think|>のようなマーカーは形式が違うと文字として出ます。
日本語
Gemma 4 × SillyTavern 設定
まず設定の層を直す
Gemma 4の返答が不自然でも、すぐに別のプリセットが必要とは限りません。モデルID、chat template、system role、context、samplerの順に確認します。万能レシピではなく、検証できる基準値をまとめました。
症状から始める
出力を見れば確認する項目が分かる
フォーマットの問題とサンプリングの選択を分けます。症状を説明できる最小の変更から始めると、原因を追いやすくなります。
返答が途中で止まる、または空になる
response tokenの上限と残りのcontextを確認します。長いキャラクターカードと履歴で生成用の余白がなくなることがあります。
ループする、キャラクターが崩れる
カードの重複、満杯のcontext、強すぎる反復制御を調べます。samplerを複数変える前に、短いクリーンなpromptを試します。
モデルとメモリ
26B A4Bと31Bは別の選択
Googleは26B A4Bをmixture-of-experts、31Bをdenseと説明しています。MoEはtokenごとの有効パラメータが少なくても、重みはロードする必要があります。量子化とcontext長が実際のメモリ使用量を変えます。
| Model | Profile | Memory note | Fit |
|---|---|---|---|
| 26B A4B | MoE。tokenごとに4Bが有効 | Googleの目安はQ4_0重みで約14.4 GB。contextは別 | backendが形式をサポートする場合のローカル候補 |
| 31B | Denseモデル | Googleの目安はQ4_0重みで約17.5 GB。contextは別 | メモリと応答速度を確認して選ぶ |
| Q4、Q5、Q6 | 量子化ファイルで、公式の別モデル名ではない | 低精度はメモリを減らせるが品質と速度のトレードオフがある | 公開元のmodel cardとbackendの形式に従う |
数値は重みをロードする場合の概算です。runtime、KV cache、選んだcontext分も確保してください。
接続の層
カードから返答までに5つの層がある
各層を別のチェックポイントとして扱います。変更後に症状が出たら、戻る場所が明確です。
EndpointとモデルID
Setting
connector、server URL、正確なcheckpoint slug
Baseline / watch
providerまたはbackendに表示されたIDを使う
誤ったalias、古いモデル、非対応の量子化形式
Chatまたはinstruct形式
Setting
Chat Completions、Text Completion、template
Baseline / watch
対応していればChat Completionsから始める
headerやthinking markerが通常の文字になる
System role
Setting
system messageと位置
Baseline / watch
短く明確にし、カードと分ける
backendが無視する、または重複させる
Contextとresponse
Setting
context tokensと最大response tokens
Baseline / watch
長い履歴を入れる前にresponse分を残す
途中で切れる、詳細を忘れる、メモリが増える
Sampling
Setting
temperature、Top P、Top K、Min P、反復制御
Baseline / watch
中立的な開始点から値を1つずつ変える
ループ、平板な文章、声の不安定さ
Samplerの基準
説明できる基準値から始める
GoogleやコミュニティのガイドはTemperature 1.0、Top P 0.95、Top K 64付近から始めることが多いです。SillyTavernでは各項目の意味が別です。最初のテスト値であり、最良のpresetではありません。
最初のテスト
- Temperature 1.0
- Top P 0.95
- Top K 64
- Min P 0
- Repetition penalty 1
- DRY multiplier 0
SillyTavernは制御項目ごとに無効値が違います。backendの範囲も確認してください。
1. クリーンな実行を作る
短いprompt、同じカード、同じcontextを使い、出力を保存します。後の変更を比較できます。
2. temperatureだけ変える
平板なら少し上げ、乱雑なら少し下げます。テスト中はTop PとTop Kを固定します。
3. token poolを調整する
Top PまたはTop Kを1つずつ変更します。SillyTavernではMin Pは0で無効なので、backendが対応していれば後で低い値を試します。
4. 反復制御は最後
まず重複したcontextを確認します。Repetition penalty 1とDRY multiplier 0は無効です。強すぎる値は普通の単語まで抑えます。
修正マップ
証拠に合わせて直す
Thinkingがテキストとして出る
template、tokenizer、reasoning modeを再確認します。対応していればChat Completionsを試します。形式が分かるまでmarkerをpromptに足しません。
長い返答が早く終わる
response tokensを増やす前にcontext使用量を確認します。重複したloreやカード文を削り、KV cacheの余裕も見ます。
数ターン後に反復する
重複メッセージとcontext境界を確認します。repetition penalty 1、DRY 0に戻し、1つの控えめな制御だけを試します。
量子化ファイルで感触が違う
比較中はbackend、カード、samplerを固定します。量子化suffix、context長、生成速度を記録します。Q4の結果をBF16の証拠にはできません。
別の方法
ページが主役ならローカルsampler調整を省く
TabbitはmacOSとWindows向けのChromiumベースAIブラウザです。ローカルGemma checkpointを実行したり、SillyTavernのカードを置き換えたりするものではありません。ページ、スクリーンショット、ファイルを読みながら質問したいときに使えます。
- 1
Tabbitをインストール
デスクトップブラウザをダウンロードして新しいタブを開きます。公式サイトはmacOS 12+とWindows 10+を案内しています。
- 2
現在のモデル選択を使う
インストールしたTabbitの選択欄に実際に表示されるモデルを選びます。リストは変わるため、このページはGemma 4の提供を約束しません。
- 3
@でcontextを参照
キャラクターwiki、promptメモ、資料をタブに残します。@でページ、スクリーンショット、ファイルを参照し、メモや要約を頼みます。
ワークフローを選ぶ
ローカルSillyTavernかTabbitか
仕事に合わせて選びます。モデルとカードを細かく制御するならローカル、ページ自体をcontextにするならTabbitです。
| SillyTavern + local backend | Tabbit | |
|---|---|---|
| Checkpointと量子化 | 自分で選んでロード | 選択欄に表示されたモデルを使う |
| Templateとsampler | 細かく制御 | 選んだモデルが管理 |
| カードとlorebook | 中心のワークフロー | 元ページを開いておく |
| ページ、画像、ファイルcontext | 貼り付けまたは拡張機能 | @でタブやファイルを参照 |
| 最初の診断 | ID → template → context → sampler | 開く、参照、質問する |
Samplerの基準
SillyTavernは制御項目ごとに無効値が違います。backendの範囲も確認してください。
FAQ
Gemma 4の設定について
Gemma 4 SillyTavernの安全な基準値は？+
Temperature 1.0、Top P 0.95、Top K 64から始め、Min P 0、repetition penalty 1、DRY multiplier 0にします。これは初期値なので、1回に1つだけ変えます。
26B A4Bと31Bのどちらを選ぶ？+
構造が違います。Googleは26B A4BをMoE、31Bをdenseと説明しています。model card、重みの概算メモリ、context、backendを確認してください。
Gemma 4のthinking tokenが文章になる理由は？+
template、tokenizer、backend、reasoning modeの形式が合っていない可能性があります。<|think|>を追加する前に4つを確認します。
contextとresponse tokenは同じメモリを使う？+
リクエストの予算を共有し、総contextが大きいほどKV cacheも増えます。SillyTavernはresponse分を差し引いたcontextを送ります。
TabbitでローカルGemma 4量子化を実行できる？+
このページでは約束していません。Tabbitを入れた後、現在の選択欄に表示されるモデルだけを使ってください。カードとsamplerはSillyTavern、ページcontextはTabbitに向いています。
1つ変えて、結果を読む
ローカルGemma 4ではmodel card、template、contextの連鎖を確認します。ページ中心の作業ならTabbitを入れ、現在の選択欄からモデルを選びます。
macOSとWindowsに対応。モデルの提供状況は変わることがあります。