En 1959, il décide de ne plus se consacrer qu’à la direction d’orchestre. Il dirige l’Orchestre de la Radio de Nice de 1959 à 1962. En 1962, Herbert von Karajan l’invite à diriger Pelléas et Mélisande à la Scala de Milan. Pendant plus de 10 ans, Gabriel Dussurjet le choisit pour diriger de nombreuses productions au Festival d’Aix-en-Provence, dans un répertoire allant de Mozart à Debussy.
De 1962 à 1965, il est le directeur musical de l’Opéra de Paris. De 1967 à 1970, il est le chef principal de l’Orchestre de Paris, nouvellement fondé. En septembre 1970, il fait ses début au Metropolitan Opera de New York dans Les Contes d’Hoffmann. Il est le directeur musical de l’Opéra de Lyon de 1967 à 1971, puis de l’Orchestre Philharmonique de Rhône-Alpes (qui deviendra ensuite l’Orchestre national de Lyon) de 1971 à 1987. En tant que tel, il part en tournée en Chine, au Japon, en Corée, en Tchécoslovaquie, en Allemagne, en Suisse, au Canada et aux Etats-Unis, et hisse l’orchestre à un niveau d’excellence qu’il n’avait encore jamais atteint. En 1979, il fonde le Festival Berlioz à Lyon, dans le but de contribuer à une meilleure compréhension de l’œuvre orchestrale et lyrique du compositeur. En 1987, il dirige une production de la version intégrale des Troyens. Il reste le directeur artistique du Festival Berlioz jusqu’en 1989.
Serge Baudo a été le chef invité pour diriger les plus grands orchestres et compagnies lyriques du monde, le BBC Philharmonia Orchestra, le Wiener Symphoniker, les Orchestres Symphoniques de Moscou et de Leningrad, le London Philharmonic Orchestra, l’Orchestre Philharmonique de Prague, l’orchestre du Metropolitan Opera, du Staatsoper Wien, du Concertgebouw…
Sa discographie est remarquable par sa variété et sa qualité. Il a enregistré des disques avec le London Philharmonic, l’Orchestre de Paris, l’Orchestre national de Lyon et l’Orchestre Philharmonique de Prague. Ces enregistrements accordent une attention particulière à la promotion du répertoire de la musique française.
Récemment, Serge Baudo a participé à des productions à Berlin, Leipzig, Bruxelles, à la Fondation Gulbenkian de Lisbonne et à la Radio Lugano. Il a également été acclamé au Teatro Colon à Buenos Aires, alors qu’il dirigeait Jeanne d’Arc au Bûcher avec Isabel Karajan dans le rôle de Jeanne d’Ac.
Serge Baudo a été nommé directeur musical de l’Orchestre Symphonique de Prague (FOK) en Octobre 2001.