Outil pour calculer l'indice de Shannon. L'indice de Shannon est une mesure de l'entropie pour les chaînes de caractères (ou n'importe quelle donnée informatique)
Indice de Shannon - dCode
Catégorie(s) : Informatique, Cryptanalyse
dCode est gratuit et ses outils sont une aide précieuse dans les jeux, les maths, les énigmes, les géocaches, et les problèmes à résoudre au quotidien !
Une suggestion ? un problème ? une idée ? Écrire à dCode !
Indice de Shannon
Calcul de l'Indice de Shannon
Réponses aux Questions (FAQ)
Qu'est ce que l'indice d'entropie de Shannon ? (Définition)
L'indice d'entropie de Shannon est une mesure de l'entropie, applicable à toute donnée numérique, développée par Claude Shannon dans les années 1940. Elle mesure les fréquences d'apparition des éléments, et plus ceux-ci sont différents, plus il sera difficile d'en prédire le contenu (donc une plus grande incertitude, plus d'aléatoire, et donc une plus grande entropie).
Comment calculer l'entropie de Shannon ? (Formule)
L'entropie se calcule à partir d'une liste d'éléments : dans un texte, les éléments seront les caractères et dans un tableau de valeurs numériques, les éléments seront les nombres.
Pour une liste comportant $ N $ éléments dont $ k $ distincts, et dont chaque élément $ i $ a un nombre d'apparition $ n_i $ et une fréquence d'apparition $ p_i ( = n_i/N ) $. L'entropie de Shannon $ H $ se calcule selon la formule $$ H = -\sum_{i=1}^k p_i \log_2 (p_i) $$
Exemple : DCODE possède 5 caractères (dont 4 distincts), la lettre D apparait 2 fois (fréquence: 2/5), et les 3 lettres C, O et E apparaissent chacun 1 fois (fréquence: 1/5), le calcul est donc : $ H = -\left( \frac{2}{5} \log_2(\frac{2}{5}) + 3 \times \frac{1}{5} \log_2(\frac{1}{5}) \right) \approx 1.921928 $
La valeur est toujours positive, les logarithmes de nombres inférieur à 1 sont toujours négatifs, leur somme aussi, le signe - permet d'obtenir un résultat positif.
A quoi sert l'indice de Shannon ?
A partir de l'indice de Shannon, peut se déduire l'encodage optimal d'une chaîne. Si l'indice de Shannon d'une chaine est 3.5, alors il faudra 4 bits (arrondi supérieur) par caractères pour l'encoder de manière optimale. L'indice de Shanon peut donc être utile pour évaluer un taux de compression, plus l'entropie est grande, meilleure est la compression.
Quelle est l'unité de mesure de l'entropie de Shannon ?
L'entropie de Shannon est mesurée en bits.
Code source
dCode se réserve la propriété du code source pour "Indice de Shannon". Sauf code licence open source explicite (indiqué Creative Commons / gratuit), l'algorithme pour "Indice de Shannon", l'applet ou snippet (convertisseur, solveur, chiffrement / déchiffrement, encodage / décodage, encryptage / décryptage, traducteur) ou les fonctions liées à "Indice de Shannon" (calculer, convertir, résoudre, décrypter / encrypter, déchiffrer / chiffrer, décoder / encoder, traduire) codés en langage informatique (Python, Java, C#, PHP, Javascript, Matlab, etc.) ou les données, en téléchargement, script, ou les accès API à "Indice de Shannon" ne sont pas publics, idem pour un usage hors ligne, PC, mobile, tablette, appli iPhone ou Android !
Rappel : dCode est gratuit.
Citation
Le copier-coller de la page "Indice de Shannon" ou de ses résultats est autorisée (même pour un usage commercial) tant que vous créditez dCode !
L'exportation des résultats sous forme de fichier .csv ou .txt est gratuite en cliquant sur l'icone export
Citer comme source bibliographique :
Indice de Shannon sur dCode.fr [site web en ligne], consulté le 21/05/2024,
