# SarvamMoE

SarvamMoE 是 [Sarvam-30B](https://huggingface.co/sarvamai/sarvam-30b) 的架构，这是一款由 [Sarvam AI](https://www.sarvam.ai/) 开发的 300 亿参数混合专家（MoE）语言模型。其更大的姊妹模型 Sarvam-105B 使用的是 [SarvamMLA](./sarvam_mla)。

主要架构特性：

- 带有 QK 归一化和完整旋转位置嵌入的**分组查询注意力**。
- **稀疏专家混合**：128 个路由专家，每个 token 激活 6 个，外加 1 个共享专家。第一层使用稠密 MLP。
- 带有专家偏差校正和路由缩放因子的**Sigmoid 路由**。

该架构与 [GLM-4-MoE](./glm4_moe) 相同，但参数和配置名称有所不同。自动类使用 GLM-4-MoE 的实现来加载它（[Glm4MoeModel](/docs/transformers/main/zh/model_doc/glm4_moe#transformers.Glm4MoeModel) 和 [Glm4MoeForCausalLM](/docs/transformers/main/zh/model_doc/glm4_moe#transformers.Glm4MoeForCausalLM)），因此只有 [SarvamMoEConfig](/docs/transformers/main/zh/model_doc/sarvam_moe#transformers.SarvamMoEConfig) 是 SarvamMoE 特有的。发布的检查点在加载时会转换为 GLM-4-MoE 的名称，在保存时再转换回来。

以下示例演示了如何使用 [AutoModelForCausalLM](/docs/transformers/main/zh/model_doc/auto#transformers.AutoModelForCausalLM) 类生成文本。

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-30b")
model = AutoModelForCausalLM.from_pretrained("sarvamai/sarvam-30b", device_map="auto")

messages = [{"role": "user", "content": "Explain the Pythagorean theorem in one sentence."}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True)
output = model.generate(**inputs.to(model.device), max_new_tokens=64)
print(tokenizer.decode(output[0][inputs["input_ids"].shape[1] :], skip_special_tokens=True))
```

## SarvamMoEConfig[[transformers.SarvamMoEConfig]]

#### transformers.SarvamMoEConfig[[transformers.SarvamMoEConfig]]

```python
transformers.SarvamMoEConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 262144, hidden_size: int = 4096, intermediate_size: int = 8192, num_hidden_layers: int = 19, num_attention_heads: int = 64, num_key_value_heads: int = 4, hidden_act: str = 'silu', max_position_embeddings: int = 131072, initializer_range: float = 0.006, rms_norm_eps: float = 1e-06, use_cache: bool = True, tie_word_embeddings: bool = False, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, attention_bias: bool = False, attention_dropout: float | int = 0.0, moe_intermediate_size: int = 1024, num_experts_per_tok: int = 6, output_router_logits: bool = False, n_shared_experts: int = 1, n_routed_experts: int = 128, routed_scaling_factor: float = 2.5, n_group: int = 1, topk_group: int = 1, first_k_dense_replace: int = 1, norm_topk_prob: bool = True, use_qk_norm: bool = True, bos_token_id: int | None = None, eos_token_id: int | list[int] | None = 1, pad_token_id: int | None = 0, num_mtp_layers: int = 0, head_dim: int = 64)
```

[来源](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sarvam_moe/configuration_sarvam_moe.py#L30)

**参数：**

vocab_size (`int`，*可选*，默认值为 `262144`)：模型的词汇表大小。定义了 `input_ids` 可以表示的不同 token 的数量。

hidden_size (`int`，*可选*，默认为 `4096`)：隐藏表示的维度。

intermediate_size (`int`，*可选*，默认为 `8192`)：MLP 表示的维度。

num_hidden_layers (`int`，*可选*，默认为 `19`)：Transformer 解码器中的隐藏层数。

num_attention_heads (`int`，*可选*，默认为 `64`)：Transformer 解码器中每个注意力层的注意力头数量。

num_key_value_heads (`int`, *可选*，默认为 `4`) : 这是用于实现 Grouped Query Attention 的 key_value 头数量。如果 `num_key_value_heads=num_attention_heads`，模型将使用 Multi Head Attention (MHA)；如果 `num_key_value_heads=1`，模型将使用 Multi Query Attention (MQA)；否则将使用 GQA。在将多头检查点转换为 GQA 检查点时，每个组的 key 和 value 头应通过对该组内所有原始头进行平均池化来构建。更多详情请参阅 [这篇论文](https://huggingface.co/papers/2305.13245)。如果未指定，则默认为 `num_attention_heads`。

hidden_act (`str`，*可选*，默认为 `silu`)：解码器中的非线性激活函数（函数或字符串）。例如，`"gelu"`、`"relu"`、`"silu"` 等。

max_position_embeddings (`int`，*可选*，默认值为 `131072`)：该模型可能使用的最大序列长度。

initializer_range (`float`, *可选*, 默认值为 `0.006`) : 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。

rms_norm_eps (`float`，*可选*，默认为 `1e-06`)：rms 归一化层使用的 epsilon。

use_cache (`bool`，*可选*，默认为 `True`)：模型是否应返回最后的键/值注意力（并非所有模型都使用）。仅当 `config.is_decoder=True` 或模型为仅解码器生成模型时相关。

tie_word_embeddings (`bool`，*可选*，默认为 `False`)：是否根据模型的 `tied_weights_keys` 映射来绑定权重嵌入。

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *可选*) : 包含 RoPE 嵌入配置参数的字典。该字典应包含 `rope_theta` 的值，并且如果希望使用更长的 `max_position_embeddings` 配合 RoPE，则可选地包含用于缩放的参数。

attention_bias (`bool`，*可选*，默认为 `False`)：在自注意力机制中，是否在查询、键、值和输出投影层中使用偏置。

attention_dropout (`Union[float, int]`，*可选*，默认值为 `0.0`)：注意力概率的 dropout 比率。

moe_intermediate_size (`int`，*可选*，默认为 `1024`)：路由专家 MLP 的中间层大小。

num_experts_per_tok (`int`，*可选*，默认为 `6`)：每个 token 路由到的专家数量。这是 token-choice 路由的 top-k 值。

output_router_logits (`bool`，*可选*，默认为 `False`)：是否由模型返回路由器 logits。启用此选项后，模型还将输出辅助损失，包括负载均衡损失和路由器 z-loss。

n_shared_experts (`int`，*可选*，默认为 `1`)：共享专家的数量。

n_routed_experts (`int`，*可选*，默认为 `128`)：路由专家的数量。

routed_scaling_factor (`float`，*可选*，默认为 `2.5`)：缩放因子或路由专家。

n_group (`int`，*可选*，默认为 1)：路由专家的组数。

topk_group (`int`, *可选*, 默认为 `1`) : 每个 token 选中的组数（对于每个 token，确保所选专家仅位于 `topk_group` 个组内）。

first_k_dense_replace (`int`, *可选*, 默认为 1) : 浅层中密集层的数量(embed->dense->moe->moe...->lm_head)。 \--k 个密集层--/

norm_topk_prob (`bool`, *可选*, 默认为 `True`) : 是否对路由专家的权重进行归一化。

use_qk_norm (`bool`, *可选*, 默认为 `True`) : 是否在注意力机制中使用查询-键归一化。

bos_token_id (`int`, *可选*) : 词表中用于表示流开始的 Token id。

eos_token_id (`Union[int, list[int]]`，*可选*，默认为 `1`)：词汇表中用于表示流结束（end-of-stream）的 Token ID。

pad_token_id (`int`，*可选*，默认为 `0`)：词表中用于填充的 Token ID。

num_mtp_layers (`int`，*可选*，默认为 0)：可附加在基础 transformer 模型之后的 Multi-Token Prediction (MTP) 模块数量。发布的检查点不包含 MTP 权重。

head_dim (`int`, *可选*, 默认为 `64`) : 注意力头维度。如果为 None，则默认为 hidden_size // num_attention_heads

这是用于存储 Glm4MoeModel 配置的类。它根据指定的参数实例化 Sarvam Moe 模型，并定义模型架构。使用默认值实例化配置将得到与 [sarvamai/sarvam-30b](https://huggingface.co/sarvamai/sarvam-30b) 类似的配置。

配置对象继承自 [PreTrainedConfig](/docs/transformers/main/zh/main_classes/configuration#transformers.PreTrainedConfig)，可用于控制模型输出。有关更多信息，请参阅 [PreTrainedConfig](/docs/transformers/main/zh/main_classes/configuration#transformers.PreTrainedConfig) 的文档。

示例：

```python
>>> from transformers import AutoModelForCausalLM, SarvamMoEConfig

>>> # Initializing a Sarvam-30B style configuration
>>> configuration = SarvamMoEConfig()

>>> # Initializing a model (which uses the GLM-4-MoE implementation) from that configuration
>>> model = AutoModelForCausalLM.from_config(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

