Utiliser les modèles Unity Sentis depuis Hugging Face

Unity 3D est l’un des moteurs de jeu les plus populaires au monde. Unity Sentis est le moteur d’inférence qui s’exécute sur Unity 2023 ou une version ultérieure. Il s’agit d’une API qui vous permet d’intégrer et d’exécuter facilement des modèles de réseaux de neurones dans votre jeu ou votre application en exploitant l’accélération matérielle. Étant donné que Unity peut exporter vers de nombreux formats différents, y compris PC, mobile et consoles, cela constitue un moyen simple d’exécuter des modèles de réseaux de neurones sur de nombreux types de matériel.

Explorer les modèles Sentis dans le Hub

Vous trouverez les modèles unity-sentis en filtrant à gauche de la page des modèles.

Tous les modèles Sentis du Hub sont fournis avec du code et des instructions pour vous permettre de démarrer facilement l'utilisation du modèle dans Unity. Tous les modèles Sentis sous l'espace de noms unity (par exemple, unity/sentis-yolotinyv7) ont été validés pour fonctionner, vous pouvez donc être certain qu'ils s'exécuteront dans Unity.

Pour obtenir plus de détails sur l'utilisation de Sentis, vous pouvez consulter sa documentation. Pour obtenir de l'aide de la part d'autres utilisateurs de Sentis, vous pouvez poser vos questions sur son forum de discussion

Types de fichiers

Chaque dépôt contiendra plusieurs types de fichiers :

• Fichiers sentis : ce sont les fichiers principaux du modèle qui contiennent les réseaux de neurones exécutés sur Unity.
• ONNX files : il s’agit d’un format alternatif que vous pouvez inclure en complément ou à la place des fichiers Sentis. Il peut s’avérer utile pour la visualisation avec des outils tiers tels que Netron.
• cs fichier : ce sont des fichiers C# qui contiennent le code pour exécuter le modèle sur Unity.
• info.json : Ce fichier contient des informations sur les fichiers du dépôt.
• Fichiers de données. Il s’agit d’autres fichiers nécessaires à l’exécution du modèle. Ils peuvent inclure des fichiers de vocabulaire, des listes de noms de classes, etc. Certains fichiers typiques ont des extensions json ou txt.
• README.md. C'est la fiche du modèle. Elle contient des instructions sur l'utilisation du modèle et d'autres informations pertinentes.

Exécution du modèle

Reportez-vous toujours aux instructions de la carte du modèle. Il est supposé que vous possédez quelques connaissances de Unity ainsi que des bases en C#.

1. Ouvrez Unity 2023 ou une version ultérieure et créez une nouvelle scène.

2. Installez le package com.unity.sentis depuis le gestionnaire de packages.

3. Téléchargez vos fichiers de modèle (*.sentis) et vos fichiers de données, puis placez-les dans le dossier StreamingAssets, qui est un sous-dossier du dossier Assets. (Si ce dossier n'existe pas, vous pouvez le créer).

4. Placez votre fichier C# sur un objet de la scène, tel que la caméra principale.

5. Consultez la carte du modèle pour vérifier s'il existe d'autres objets à créer dans la scène.

Dans la plupart des cas, nous ne fournissons que l’implémentation de base pour vous permettre de démarrer. Il vous revient de trouver des usages créatifs. Par exemple, vous pouvez souhaiter combiner deux modèles ou plus pour réaliser des choses intéressantes.

Partager vos propres modèles Sentis

Nous vous encourageons à partager vos propres modèles Sentis sur Hugging Face. Il peut s’agir de modèles que vous avez entraînés vous-même ou de modèles que vous avez convertis au format Sentis et testés pour s’exécuter dans Unity.

Veuillez fournir les modèles au format Sentis pour chaque dépôt que vous téléversez. Cela permet de vérifier qu’ils s’exécuteront dans Unity et constitue également le format recommandé pour les grands modèles. Vous pouvez également inclure les versions ONNX originales des fichiers de modèle.

Fournissez un fichier C# avec une implémentation minimale. Par exemple, un modèle de traitement d’image doit inclure du code montrant comment préparer l’image pour l’entrée et construire l’image à partir de la sortie. Vous pouvez également lier vers un code d’exemple externe. Cela facilitera le téléchargement et l’utilisation du modèle dans Unity par d’autres personnes.

Fournissez tous les fichiers de données nécessaires à l’exécution du modèle. Par exemple, les fichiers de vocabulaire.

Enfin, veuillez fournir un fichier info.json qui répertorie les fichiers de votre projet. Cela aide à compter les téléchargements. Voici quelques exemples de contenu de info.json :

{
   "code": [ "mycode.cs"], 
   "models": [ "model1.sentis", "model2.sentis"],
   "data": [ "vocab.txt" ]
}

Ou si votre exemple de code est externe :

{
   "sampleURL": [ "http://sampleunityproject"], 
   "models": [ "model1.sentis", "model2.sentis"]
}

Informations complémentaires

Nous disposons également de quelques projets d'exemple complets pour vous aider à démarrer avec Sentis.