Theorie de l'Information

Plan du cours sur la théorie de l'information

Le texte complet de ce cours est disponible en format pdf à partir de :

http://webast.ast.obs-mip.fr/people/koechlin/Teaching/polys.html

1. Information et transmission

Concept d’information

2. Mesure quantitative de l’information

         Approche par l’informatique
         Relation entre Information et Entropie
         Entropie d’un système à N états non équiprobables

3. Codage d’un message et vitesse de transmission

Débit d’information d’une source

4. Information mutuelle, écart entropique

Différence d’entropie entre deux sources
Distance entropique de Kullback - Lieber

5. Canaux de transmission

         Entropie conjointe et entropie conditionnelle de deux sources liées
          Information mutuelle de deux sources liées
          Capacité d’un canal
          Canaux remarquables
                    canal sans perte
                    Canal déterministe
                    Canal sans bruit
         Exemples concrets de canaux

6. Codage avec contrôle d’erreur

          Distance de Hamming
          Détection d’erreur par parité
          Correction d’erreur : méthode de Hamming
          Limitation de la portée des erreurs : code Gray