Laurent Oudre

Partie I — Théorie de l'information

1. Variables aléatoires sur un espace probabilisé discret (espace discret, v.a. discrète, couple, loi des grands nombres)
2. Schéma de Shannon (système de communication, source discrète, canal discret)
3. Information et entropie (information élémentaire, entropie d'une source)
4. Entropies conjointe et conditionnelles, information mutuelle (diagramme de Venn, extension à plusieurs v.a.)
5. Propriété asymptotique d'équirépartition (AEP) : séquences typiques et conjointement typiques

Partie II — Codage source

1. Classes de codes source (non singulier, déchiffrable, instantané)
2. Propriétés des codes binaires instantanés (inégalité de Kraft, longueur moyenne optimale, rendement)
3. Premier théorème de Shannon (version simple et avec extension d'une source)
4. Code de Huffman (algorithme de codage, optimalité)

Partie III — Codage canal

1. Principe du codage canal
2. Inégalité de Fano (théorème du traitement de l'information)
3. Capacité d'un canal (canal binaire symétrique, canal multi-usages)
4. Deuxième théorème de Shannon
5. Théorème de séparation source-canal
6. Codes détecteurs et correcteurs d'erreurs (codes linéaires, codes de Hamming)

Partie IV — Théorie du signal

1. Théorie des signaux déterministes (énergie, puissance, distributions tempérées)
2. Echantillonnage et quantification (analogique/numérique, théorème de Shannon-Nyquist, reconstruction idéale, quantification uniforme)
3. Théorie des signaux aléatoires (stationnarité, ergodisme, densité spectrale de puissance)
4. Canaux gaussiens réels