Exibindo as emissões de carbono do seu modelo

Por que é benéfico calcular as emissões de carbono do meu modelo?

O treinamento de modelos de ML frequentemente é intensivo em energia e pode gerar uma pegada de carbono considerável, conforme descrito por Strubell et al.. Portanto, é importante acompanhar e relatar as emissões dos modelos para ter uma melhor noção dos impactos ambientais da nossa área.

Que informações devo incluir sobre a pegada de carbono do meu modelo?

Se possível, você deve incluir informações sobre:

• onde o modelo foi treinado (em termos de localização)
• o hardware utilizado — por exemplo, GPU, TPU ou CPU, e quantos
• tipo de treinamento: pré-treinamento ou ajuste fino
• a pegada de carbono estimada do modelo, calculada em tempo real com o pacote Code Carbon ou após o treinamento usando o ML CO2 Calculator.

Metadados de pegada de carbono

Você pode adicionar os dados de pegada de carbono aos metadados do cartão do modelo (no arquivo README.md). A estrutura dos metadados deve ser:

---
co2_eq_emissions:
  emissions: number (in grams of CO2)
  source: "source of the information, either directly from AutoTrain, code carbon or from a scientific article documenting the model"
  training_type: "pre-training or fine-tuning"
  geographical_location: "as granular as possible, for instance Quebec, Canada or Brooklyn, NY, USA. To check your compute's electricity grid, you can check out https://app.electricitymap.org."
  hardware_used: "how much compute and what kind, e.g. 8 v100 GPUs"
---

Como a pegada de carbono do meu modelo é calculada? 🌎

Considerando o hardware de computação, a localização, o uso e o tempo de treinamento, você pode estimar a quantidade de CO₂ produzida pelo modelo.

A matemática é bem simples! ➕

Primeiro, você obtém a intensidade de carbono da rede elétrica utilizada para o treinamento — isso indica a quantidade de CO₂ produzida por KwH de eletricidade consumida. A intensidade de carbono depende da localização do hardware e da composição energética utilizada naquele local — seja energia renovável, como solar 🌞, eólica 🌬️ e hidrelétrica 💧, ou energia não renovável, como carvão ⚫ e gás natural 💨. Quanto mais energia renovável for usada no treinamento, menor será a intensidade de carbono!

Em seguida, você obtém o consumo de energia das GPUs durante o treinamento usando a biblioteca pynvml.

Por fim, você multiplica o consumo de energia e a intensidade de carbono pelo tempo de treinamento do modelo e obtém uma estimativa da emissão de CO₂.

Lembre-se de que esse não é um número exato, pois outros fatores entram em jogo — como a energia utilizada para o aquecimento e resfriamento do data center —, o que aumentará as emissões de carbono. Mas isso lhe dará uma boa ideia da escala das emissões de CO₂ que seu modelo está gerando!

Para adicionar metadados de Carbon Emissions aos seus modelos:

1. Se você está usando o AutoTrain, isso é rastreado para você 🔥
2. Caso contrário, use um rastreador como Code Carbon no seu código de treinamento e, em seguida, especifique

co2_eq_emissions: 
  emissions: 1.2345

nos metadados do seu cartão de modelo, onde 1.2345 é o valor de emissões em gramas.

Para saber mais sobre a pegada de carbono dos Transformers, confira o vídeo, parte do Curso da Hugging Face!