Karl Wolff se narodil v německém Darmstadtu. Jeho otec byl soudce okresního soudu Dr. Carl Wolff a svému synu přezdíval "Karele" (Tato přezdívka Wolffovi zůstala až do smrti v roce 1984). V Darmstadtu Wolff vystudoval gymnázium a hned po maturitě (v roce 1917) se dal do armády. Byl odvelen na západní frontu, kde byl vyznamenán Železným křížem 1. a 2. třídy.

Po válce vstoupil Wolff do dvouletého učení ve Frankfurtu nad Mohanem, do Banky bratří von Bethmannů. V roce 1923 si vzal Friedu von Römheld a spolu s ní se odstěhoval do Mnichova, kde začal pracovat u Německé banky. Po roce 1924 si našel práci u mnichovské firmy Annoncen-Expedition Walther von Danckelmann, ale v roce 1925 si zakládá vlastní firmu Annoncen-Expedition Karl Wolff – von Römheld.“.

Po hospodářské krizi, v roce 1931, se začal Wolff zajímat o radikální strany, které nabízely politickou a hospodářskou pomoc. 7. října 1931 vstupuje do NSDAP a do SS. V roce 1932 byl povýšen na SS-Sturmführera a v roce 1933 se stal osobním pobočníkem Heinricha Himmlera a členem Reichstagu. V roce 1943 odešel jako nejvyšší vůdce SS a policie do Itálie, kde jako zplnomocněný generál Wehrmachtu kontroloval od 26. července 1944 Mussoliniho vládu v Saló. Ke konci války si porážku Německa uvědomil i Wolff a tak navázal kontakty s americkou tajnou službou ve Švýcarsku. 29. dubna 1945 dosáhl předčasného příměří v severní Itálii.

Při Norimberském procesu s válečnými zločinci vystupoval Wolff jako svědek obžaloby. Sám byl v roce 1949 odsouzen ke čtyřem letům vězení. Po svém propuštění (v roce 1953) byl znovu souzen (v roce 1964) za napomáhání k vraždě 300 000 Židů. Byl odsouzen k 15 letům vězení, ale již roku 1969 byl propuštěn ze zdravotních důvodů. Karl Wolff zemřel roku 1984 v německém Rosenheimu.