Almanya'da 1994-1999 yılları arasında cumhurbaşkanlığı yapan Herzog, Hıristiyan Demokrat Birlik'te (CDU) politika yaptı.
1978-1980 yılları arasında Baden Württemberg Kültür Bakanlığı görevini üstlenen Herzog, 1980-1983 yılları arasında ise yine aynı eyalette içişleri bakanlığı koltuğuna oturdu.
1983 yılında Federal Anayasa Mahkemesiüyeliği yapan Herzog, 1987 yılından 1994 yılına kadar yüksek mahkemenin başkanlığını üstlendi. 1958 yılında Christiane Krauß ile evlenen Herzog'un bu evlilikten iki oğlu dünyaya geldi.
Eşinin 2000 yılında ölmesi üzerine Herzog, ikinci kez evlendi. Herzog, ülkenin önemli muhafazakar politikacılarından biri olmasına rağmen, cumhurbaşkanlığı yaptığı beş yıllık sürede liberal politikalar yürüttü.
