Après une période de croissance explosive, les réseaux optiques de transmission atteignent maintenant une phase dans laquelle l'augmentation de la capacité constitue une des contraintes la plus sévère. Aujourd'hui, l'exigence des opérateurs porte plus que jamais sur des systèmes de transmission à la fois performantes, débit binaire élevé, faciles à gérer et surtout à des coûts d'jnvestissement et d'opération très bas. Un des axes de progrès les plus étudiés dans la recherche d'un débit binaire élevé réside dans les formats de modulation en transmission. Jusqu'à maintenant, les systèmes de transmission ont majoritairement utilisé les formats classiques NRZ (Non-retum to Zero) et RZ (Retum to Zero) jusqu'à des débits de 10 Gbitls. La transmission sur fibre optique à des débits de 40 Gbitls et plus, doit faire appel à des formats de modulations plus évoluées. Aujourd'hui, de nombreuses recherches s'intéressent de près aux fonnats DQPSK (Differential Quadrature Phase Shift Keying) et leur évolution vers la modulation OD8PSK qui, par rapport aux fonnats d'amplitude conventionnels (OOK, On Off Keying), offrent de meilleures perfonnances en transmission sur de longues distances. Cependant les distorsions, subies par les signaux optiques DQPSK ou OD8PSK lors de la propagation dans des systèmes longue portée, conduisent à une réduction des perfonnances potentielles des liaisons. Pour cela un certain nombre de solutions/techniques existent selon les phénomènes causant ces distorsions (dispersion chromatique, effets non linéaires,. ..). Panni ces solutions, l'inversion spectrale à mi-système (MSSI) apparaît comme très prometteuse pour la compensation de la dispersion chromatique et les effets non linéaires simultanément. Ce mémoire traite du MSSI appliqué aux systèmes de communication optique DQPSK et OD8PSK que l'on se propose par le biais de simulations numériques en matlab/simulink.