이 안내서의 모델
`TheDrummer/Skyfall-31B-v4.2`는 safetensors 저장소입니다. 카드에는 작성자가 TheDrummer로 표시되고 Mistral v7 Tekken이 기재되어 있습니다.
한국어
SKYFALL 31B × SILLYTAVERN
먼저 올바른 Skyfall 파일을 찾으세요
Skyfall 31B라는 이름에는 여러 버전과 형식이 있습니다. 이 안내서는 TheDrummer/Skyfall-31B-v4.2를 대상으로 합니다. 캐릭터 카드를 조정하기 전에 ID, base, Mistral v7 템플릿과 양자화를 확인하세요.
REPOSITORY ID 확인
31B는 크기이지 checkpoint 이름이 아닙니다
전체 repository 이름을 메모해 v4.2, v4.1, 이전 Skyfall 및 비슷한 검색 결과를 구분하세요.
Base 모델
메타데이터는 `mistralai/Magistral-Small-2509`를 base로 표시합니다. 이름이 비슷한 다른 Mistral Small로 바꾸지 마세요.
파라미터 수
HF API 메타데이터는 BF16 파라미터 31,352,980,480, Mistral 아키텍처와 최대 position 131,072를 보고합니다. 실제 런타임 컨텍스트를 보장하는 값은 아닙니다.
라이선스
확인한 API 메타데이터에는 license 필드가 없었습니다. 재배포나 상업적 사용 전 카드와 upstream 조건을 읽으세요.
양자화와 하드웨어
장비가 실제로 로드할 수 있는 파일을 고르세요
공식 저장소는 큽니다. GGUF는 여러 선택지를 제공하며 파일 크기는 첫 필터일 뿐 최종 VRAM 요구량은 아닙니다.
Q4_K_M부터 시작
GGUF tree에서 Q4_K_M은 약 18.98 GB입니다. runtime, context와 운영체제 공간을 남기세요. 24 GB GPU에서도 전체 GPU 로드가 항상 편한 것은 아닙니다.
큰 양자화에는 여유 필요
Q5_K_M은 약 22.25 GB, Q6_K은 약 25.73 GB, Q8_0은 약 33.32 GB입니다. CPU나 RAM offload는 가능해도 속도가 크게 떨어질 수 있습니다.
작은 양자화는 품질과 교환
Q2_K은 약 11.73 GB, Q3_K_M은 약 15.20 GB입니다. 양자화를 바꾼 뒤 같은 짧은 장면을 비교하세요.
서비스 계층 하나 선택
GGUF 카드는 llama.cpp와 Ollama 경로를 안내합니다. 정확한 파일을 받은 뒤 backend endpoint와 model ID를 SillyTavern에 입력하세요.
SILLYTAVERN RP 설정
템플릿을 먼저, sampler는 나중에
Skyfall v4.2는 사용자 정의 Mistral v7 Tekken 템플릿을 씁니다. 형식 처리를 한 계층에 맡기고 두 턴 테스트로 시작하세요.
Mistral v7 Tekken 사용
가능하면 tokenizer 또는 backend가 템플릿을 적용하게 하세요. SillyTavern도 prompt를 감싸면 role marker 중복을 확인합니다.
thinking 사용 여부 결정
템플릿은 system message의 `/think`를 확인하고 `[THINK]...[/THINK]`를 넣을 수 있습니다. 의도적으로 테스트하고 카드에 실수로 넣지 마세요.
기준값 저장
첫 RP는 temperature 0.7, top_p 0.9와 적당한 최대 출력으로 시작한 뒤 한 번에 하나만 바꾸세요.
사용자 발화권 보호
모델이 담당할 화자를 적으세요. 예시는 짧게 하고 사용자와 캐릭터를 동시에 쓰라는 지시는 삭제하세요.
커뮤니티는 자연스러운 대화, 캐릭터 일관성, 어조 준수를 말합니다. 반대로 장황함, 약한 서술, 사용자를 대신한 발화와 swipe 후 반복도 보고됩니다. 통제된 평가는 아닙니다.
증상 → 확인 → 해결
실패한 계층을 분리하세요
같은 짧은 prompt를 반복하면서 한 번에 하나만 바꾸면 템플릿 문제와 모델 또는 하드웨어 문제를 나눌 수 있습니다.
| 증상 | 확인 | 다음 단계 |
|---|---|---|
| 빈 응답 또는 마커 노출 | endpoint, Mistral 템플릿 담당, `/think`, stop string. | 한 줄 prompt를 보내고 템플릿 담당을 하나로 만든 뒤 노출된 마커를 제거하세요. |
| 모델이 {{user}}를 대신해 말함 | 카드 예시, system prompt, 직전 assistant. | 화자 경계를 적고 예시를 줄인 뒤 두 선택 장면으로 테스트하세요. |
| 길고 반복적인 응답 | context, 중복 lore, max tokens, sampler. | 카드를 줄이고 예산을 낮춘 뒤 sampler를 하나씩 바꾸세요. |
| 느리거나 충돌 | 파일 크기, offload, RAM/VRAM 여유, context. | 더 작은 양자화나 짧은 context를 시도하고 tokens/sec를 비교하세요. |
| 카드와 행동이 다름 | v4.2/v4.1, safetensors/GGUF, 전체 model ID. | repository ID를 다시 복사하고 해당 파일의 카드를 따르세요. |
TABBIT 조사 데스크
카드, 양자화 파일과 메모를 한눈에
Tabbit은 Skyfall을 실행하거나 SillyTavern을 대체하지 않습니다. 모델 카드, GGUF tree와 커뮤니티 글을 모으는 데 사용하세요.
- 1
소스 탭 열기
공식 카드, GGUF tree, SillyTavern 문서를 함께 열고 ID, 크기와 템플릿 지시만 추출하게 하세요.
- 2
@로 문맥 전달
페이지, 스크린샷 또는 로컬 메모를 @로 참조해 확인된 사실과 미확인 질문을 나눈 목록을 만드세요.
- 3
변경 전 비교
멀티모델 채팅으로 설정 설명을 비교하세요. Tabbit은 근거를 정리하고 Skyfall은 호환 backend에서 실행합니다.
맞는 화면 사용
SillyTavern은 채팅을 실행하고 Tabbit은 근거를 정리합니다
역할이 다릅니다. 생성 제어는 SillyTavern에 두고 자료 탭 전환은 Tabbit으로 줄이세요.
| SillyTavern + backend | Tabbit | |
|---|---|---|
| Skyfall 로컬 실행 | 호환 backend로 가능 | 보장하지 않음 |
| 캐릭터 카드와 sampler | 상세 제어 | 참조 메모 |
| 카드와 양자화 읽기 | 탭이나 앱 전환 | @ 페이지, 파일, 이미지 |
| 설명 비교 | preset 또는 endpoint 변경 | 사용 가능한 모델 비교 |
| 하드웨어 진단 | VRAM, offload, 속도 확인 | 근거 수집 |
FAQ
Skyfall 31B와 SillyTavern
이 가이드는 어떤 Skyfall 31B인가요?+
TheDrummer/Skyfall-31B-v4.2입니다. v4.1이나 다른 Skyfall 프로젝트는 템플릿과 동작이 다를 수 있습니다.
v4.2의 base는 무엇인가요?+
카드 메타데이터는 mistralai/Magistral-Small-2509를 base로 표시합니다. 전체 ID를 사용하세요.
어떤 양자화를 다운로드하나요?+
공식 GGUF tree에서 약 18.98 GB인 Q4_K_M이 시작점입니다. runtime 여유를 확인하고 Q3 또는 Q5를 시험하세요.
어떤 chat template을 쓰나요?+
카드는 Mistral v7 Tekken을 표시합니다. 사용자 정의 템플릿은 system prompt의 /think도 확인합니다.
Tabbit이 Skyfall 31B를 실행하나요?+
이 페이지에서는 보장하지 않습니다. Tabbit은 카드, 파일과 비교 자료를 정리합니다. 호환 로컬 backend에서 실행한 뒤 SillyTavern에 연결하세요.
첫 설정을 model ID로 시작하세요
v4.2를 확인하고 양자화를 고른 다음 Mistral 형식 담당을 하나로 정해 짧은 장면을 테스트하세요. 근거가 여러 페이지에 흩어졌다면 Tabbit으로 모으세요.
macOS와 Windows에서 사용할 수 있습니다. 모델 목록은 바뀔 수 있습니다.