Outil pour calculer l'indice de Shannon. L'indice de Shannon est une mesure de l'entropie pour les chaînes de caractères (ou n'importe quelle donnée informatique)
Indice de Shannon - dCode
Catégorie(s) : Informatique, Cryptanalyse
dCode est gratuit et ses outils sont une aide précieuse dans les jeux, les maths, les énigmes, les géocaches, et les problèmes à résoudre au quotidien !
Une suggestion ? un problème ? une idée ? Écrire à dCode !
Indice de Shannon
Calcul de l'Indice de Shannon
Réponses aux Questions (FAQ)
Qu'est ce que l'indice d'entropie de Shannon ? (Définition)
L'indice d'entropie de Shannon est une mesure de l'entropie, applicable à toute donnée numérique, développée par Claude Shannon dans les années 1940. Elle mesure les fréquences d'apparition des éléments, et plus ceux-ci sont différents, plus il sera difficile d'en prédire le contenu (donc une plus grande incertitude, plus d'aléatoire, et donc une plus grande entropie).
Comment calculer l'entropie de Shannon ? (Formule)
L'entropie se calcule à partir d'une liste d'éléments : dans un texte, les éléments seront les caractères et dans un tableau de valeurs numériques, les éléments seront les nombres.
Pour une liste comportant $ N $ éléments dont $ k $ distincts, et dont chaque élément $ i $ a un nombre d'apparition $ n_i $ et une fréquence d'apparition $ p_i ( = n_i/N ) $. L'entropie de Shannon $ H $ se calcule selon la formule $$ H = -\sum_{i=1}^k p_i \log_2 (p_i) $$
Exemple : DCODE possède 5 caractères (dont 4 distincts), la lettre D apparait 2 fois (fréquence: 2/5), et les 3 lettres C, O et E apparaissent chacun 1 fois (fréquence: 1/5), le calcul est donc : $ H = -\left( \frac{2}{5} \log_2(\frac{2}{5}) + 3 \times \frac{1}{5} \log_2(\frac{1}{5}) \right) \approx 1.921928 $
La valeur est toujours positive, les logarithmes de nombres inférieur à 1 sont toujours négatifs, leur somme aussi, le signe - permet d'obtenir un résultat positif.
A quoi sert l'indice de Shannon ?
A partir de l'indice de Shannon, peut se déduire l'encodage optimal d'une chaîne. Si l'indice de Shannon d'une chaine est 3.5, alors il faudra 4 bits (arrondi supérieur) par caractères pour l'encoder de manière optimale. L'indice de Shanon peut donc être utile pour évaluer un taux de compression, plus l'entropie est grande, meilleure est la compression.
Quelle est l'unité de mesure de l'entropie de Shannon ?
L'entropie de Shannon est mesurée en bits.
Code source
dCode se réserve la propriété du code source pour "Indice de Shannon". Tout algorithme pour "Indice de Shannon", applet ou snippet ou script (convertisseur, solveur, chiffrement / déchiffrement, encodage / décodage, encryptage / décryptage, traducteur) ou toutes fonctions liées à "Indice de Shannon" (calculer, convertir, résoudre, décrypter / encrypter, déchiffrer / chiffrer, décoder / encoder, traduire) codés en langage informatique (Python, Java, C#, PHP, Javascript, Matlab, etc.) ou toute base de données, ou accès API à "Indice de Shannon" ou tout autre élément ne sont pas publics (sauf licence open source explicite type Creative Commons). Idem avec le téléchargement pour un usage hors ligne sur PC, mobile, tablette, appli iPhone ou Android.
Rappel : dCode est une ressource éducative et pédagogique, accessible en ligne gratuitement et pour tous.
Citation
Le contenu de la page "Indice de Shannon" ainsi que ses résultats peuvent être copiés et réutilisés librement, y compris à des fins commerciales, à condition de mentionner dCode.fr comme source.
L'export des résultats est gratuit et se fait simplement en cliquant sur les icônes d'export ⤓ (format .csv ou .txt) ou ⧉ copier-coller.
Pour citer dCode.fr sur un autre site Internet, utiliser le lien :
Dans un article scientifique ou un livre, la citation bibliographique recommandée est : Indice de Shannon sur dCode.fr [site web en ligne], consulté le 16/04/2025,
