Эта модель была добавлена в Hugging Face Transformers 02.05.2026.

DeepSeek-V4

DeepSeek-V4 — это языковая модель MoE следующего поколения от DeepSeek (статья). В архитектуре механизм Multi-head Latent Attention (MLA), использовавшийся в DeepSeek-V3, заменён гибридной схемой локального и дальнего внимания, а остаточные соединения — на Manifold-Constrained Hyper-Connections (mHC). Кроме того, первые несколько слоёв MoE инициализируются с помощью статической таблицы хэшей token-id → expert-id.

Эта реализация охватывает DeepSeek-V4-Flash, DeepSeek-V4-Pro и их предобученные варианты -Base. Все четыре модели имеют одинаковую архитектуру; различия между ними заключаются только в ширине / глубине / количестве экспертов и весах.

Установите use_kernels=True в from_pretrained(), чтобы заменить поддерживаемые слои на оптимизированные ядра из Hub. Подробнее см. в разделе Загрузка ядер.

Архитектура (раздел 2 статьи)

Гибридное внимание (§2.3)

Каждый блок декодера относится к одному из трёх типов внимания, выбор которого определяется по config.layer_types[i]:

• Полное внимание со скользящим окном ("sliding_attention"): используется только локальное окно из sliding_window токенов, без ветви для дальних связей. Соответствует стилю «Full Attention» в V3 для начальных слоёв.
• Compressed Sparse Attention ("compressed_sparse_attention", CSA — раздел 2.3.1 статьи): пул с низкой степенью сжатия (compress_rate_csa, по умолчанию m=4) с перекрывающимися окнами, а также Lightning Indexer (формулы 13–17), который оценивает запросы относительно пула и собирает топ-index_topk блоков для каждого запроса до их попадания в основное внимание.
• Сильно сжатое внимание ("heavily_compressed_attention", HCA — раздел 2.3.2 статьи): пул с высокой степенью сжатия (compress_rate_hca, по умолчанию m'=128) с неперекрывающимися окнами. Индексатор отсутствует — каждый элемент пула участвует в вычислении внимания.

Все три типа имеют одинаковый базовый блок:

• Общий K=V Multi-Query Attention: num_key_value_heads = 1; kv_proj формирует один KV-хед, и один и тот же тензор используется и как ключ, и как значение.
• Частичный RoPE (interleaved-pair, раздел 2.3.3 статьи «Partial Rotary Positional Embedding») применяется к последним qk_rope_head_dim = head_dim * partial_rotary_factor каналам каждой головы. Та же ротация применяется к слайсу rope в выводе внимания с позицией -i (формула 26), чтобы вклад каждой записи KV оставался функцией относительного расстояния до запроса.
• Обучаемый attention sink для каждой головы (уравнение 27).
• Групповая проекция вывода низкого ранга (§2.3.1 «Grouped Output Projection»): o_groups групп заголовков → o_lora_rank на группу → hidden_size, вычисляется с помощью DeepseekV4GroupedLinear (o_a_proj), за которым следует o_b_proj. Снижает стоимость на токен для широкой проекции вывода внимания без потери выразительности.
• Общая ветвь скользящего окна K=V размера sliding_window («Additional Branch of Sliding Window Attention», §2.3.1) сохраняет локальные зависимости с высокой детализацией; выход компрессора дальних связей конкатенируется с KV этой ветви перед основным вниманием.

Гиперсоединения с ограничениями многообразия (§2.2)

Соединения с остатком заменяются на mHC (Xie et al., 2026): hc_mult параллельных потоков остатков, которые на протяжении каждого блока сохраняют форму [B, S, hc_mult, D]. Два модуля DeepseekV4HyperConnection — attn_hc и ffn_hc — смешивают потоки на входе и выходе вокруг подслоёв внимания / MLP с помощью тройки (pre, post, comb). Матрица comb является двойно-стохастическим отображением, получаемым итерациями Синкхорна–Кноппа hc_sinkhorn_iters на многообразии, что делает распространение сигнала не-расширяющим в глубоких стеках. Финальный DeepseekV4HyperHead сворачивает hc_mult потоков в единую последовательность перед нормализацией модели.

Расписание MoE (§2.1)

Маршрутизация настраивается для каждого слоя с помощью config.mlp_layer_types, значениями из {"hash_moe", "moe"}:

• "hash_moe": индексы экспертов получаются из замороженного поиска tid2eid[input_ids], заполненного из контрольной точки V4. Обучаемые веса weight по-прежнему формируют оценки для каждого эксперта, которые взвешивают выбранных экспертов; статичен только выбор экспертов. Используется для первых нескольких bootstrap-слоёв (по умолчанию 3, переопределяется через устаревший параметр num_hash_layers).
• "moe": стандартный top-k routed MoE. Для оценки аффинности экспертов используется Sqrt(Softplus(·)) вместо Sigmoid из V3 («мы меняем функцию активации, вычисляющую оценки аффинности, с Sigmoid(·) на Sqrt(Softplus(·))», раздел 2.1 статьи), а ограничение n_group / topk_group из V3 отменено. Стратегия без вспомогательной функции потерь (noaux_tc от DeepSeek) сохраняется с помощью буфера e_score_correction_bias, который смещает top-k argmax без передачи градиентов.

Эксперты с маршрутизацией используют ограниченный SwiGLU (gate.clamp(max=swiglu_limit), up.clamp(min=-swiglu_limit, max=swiglu_limit), затем act_fn(gate) * up) поверх стандартной схемы весов экспертов Mixtral [num_experts, 2 * moe_intermediate_size, hidden_size]. Один общий эксперт (обычный SwiGLU MLP шириной moe_intermediate_size) выполняется параллельно для каждого токена.

Раскладка маски внимания

Каждый слой DeepseekV4Attention расширяет стандартную скользящую причинно-следственную маску (sliding-window-causal mask) вдоль оси ключей с помощью block_bias, возвращаемого его компрессором, а затем передаёт склеенную маску в eager_attention_forward. Скользящая секция (слева, [S, S]) одинакова для всех типов слоёв; секция компрессора (справа) различается в зависимости от типа слоя и является по-настоящему «новым» элементом, введённым в V4.

Схемы ниже были построены с использованием небольшого конфигурационного файла (sliding_window=8, CSA m=4, HCA m'=8, index_topk=2) на входе из 16 токенов, чтобы полная маска для каждого типа слоя помещалась на экране. Зелёный = диагональ query/key в скользящей секции, тёмный = видимая стандартная позиция KV, светлый = замаскирована, янтарный = слот компрессора / индексатора, на который query разрешено обращать внимание. Столбцы за пунктирной линией добавляются компрессором через cat([sliding_causal_mask, block_bias], dim=-1).

Слой только со скользящим окном ("sliding_attention"). Без компрессора и без правого выравнивания — маска представляет собой обычную скользящую оконно-каузальную маску формы [S, S] (окно = 8). Для i ≥ window нижний левый треугольник отсечён, что восстанавливает паттерн внимания только к локальным элементам.

Слой CSA ("compressed_sparse_attention"). Компрессор разворачивает свой выход, собранный по каждому запросу, в [B, 1, S·k, D] и дополняет маску справа S·k столбцами. Для запроса t только k слотов в столбцах [S + t·k, S + (t+1)·k) содержат выбор индексатора; все остальные столбцы компрессора равны -inf. Запросы, сделанные до того, как первое окно будет закрыто (t < m − 1), не получают ничего — маркер -1 индексатора напрямую передаётся в маску. По мере роста t становится доступно больше сжатых записей, и индексатор может заполнить все k слотов.

Слой HCA ("heavily_compressed_attention"). Индексатор отсутствует — каждая кэшированная сжатая запись потенциально видна. Справа дополняется T_total = entry_count["compressor"] столбцами. Запрос t может видеть запись w только после закрытия её исходного окна, то есть при w < (t + 1) // m. При m=8 записи 0 (покрывает позиции 0..7) и 1 (покрывает 8..15) становятся видимыми при t ≥ 7 и t ≥ 15 соответственно.

Эти диаграммы можно воспроизвести целиком с помощью:

python docs/source/en/imgs/deepseek_v4/visualize_attention_masks.py \
    --svg docs/source/en/imgs/deepseek_v4

Скрипт выполняет прямой проход на этой небольшой конфигурации, оборачивает каждый слой внимания, чтобы захватить точную маску после cat([attention_mask, block_bias]), перематчивает плоскую маску [S, S·k] CSA обратно в представление видимости записей [S, T_entries] (таким образом, каждая колонка C_w является сжатой записью, а не слотом gather), и записывает три SVG-файла, приведённые выше. Он также выводит ANSI-сетку в stdout для быстрой проверки в терминале и сохраняет выбор top-k для каждого запроса индексирующего модуля, чтобы sentinel-значения warm-up и выбранные варианты можно было проверить.

Слои кэша

Каждый блок внимания без скользящего окна должен передавать состояние компрессора / индексатора между вызовами forward. В V4 поставляются два типа слоёв кэша, которые автоматически регистрируются в LAYER_TYPE_CACHE_MAPPING:

• DeepseekV4HCACache: скользящее окно K=V + буфер/пул/счётчик компрессора HCA (без перекрытия, без индексатора).
• DeepseekV4CSACache: скользящее окно K=V + компрессор CSA (с состоянием перекрытия) + параллельный индексатор буфер / пул / счётчик / перекрытие на index_head_dim.

DynamicCache(config=…) создаёт соответствующий слой кэша для каждого config.layer_types[i].

DeepseekV4Config

DeepseekV4Model

DeepseekV4ForCausalLM

>>> from transformers import AutoTokenizer, DeepseekV4ForCausalLM

>>> model = DeepseekV4ForCausalLM.from_pretrained("mistralai/DeepseekV4-8x7B-v0.1")
>>> tokenizer = AutoTokenizer.from_pretrained("mistralai/DeepseekV4-8x7B-v0.1")

>>> prompt = "Hey, are you conscious? Can you talk to me?"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"Hey, are you conscious? Can you talk to me?\nI'm not conscious, but I can talk to you."