Après avoir milité comme syndicaliste chrétien, il adhéra aux partis gaullistes. Il fut élu pour la première fois député en 1962, président du conseil général des Vosges en 1976 et maire de Remiremont en 1983. Grâce à ses réseaux, il œuvra activement au développement de ce département. Entre 1972 et 1977, sous les présidences de Georges Pompidou et de Valéry Giscard d’Estaing, il fut plusieurs fois secrétaire d’État, détenant successivement cinq portefeuilles différents, dont ceux du Budget et des Relations avec le Parlement. Il fut ensuite brièvement député européen.

Sénateur des Vosges de 1977 à 2014, il fut élu à la surprise générale président du Sénat en 1998 face au président sortant, le centriste René Monory. Il chercha dès lors à réformer et médiatiser l’action de la haute assemblée, en développant des activités de mécénat, en relançant le musée du Luxembourg ou encore en créant la chaîne Public Sénat. Réélu deux fois, il ne se représenta pas en 2008.