Nel 1958 si arruolò nell'esercito e, dal 1962, con il grado di capitano, prestò servizio in Vietnam nella 3ª Divisione di Fanteria. A capo di un'unità dell'esercito sudvietnamita, cercò di eliminare l'appoggio sociale ai guerriglieri del Fronte di liberazione nazionale del Vietnam bruciando villaggi nella valle di A Shau. Questa strategia fu criticata come crudele e controproducente da altri consiglieri statunitensi, ma lui la giustificò nelle sue memorie pubblicate nel 1995.^[2]

Nel 1968, dopo il massacro di My Lai, venne incaricato delle investigazioni sull'accaduto. Powell scrisse che le relazioni tra soldati statunitensi e civili erano eccellenti, anche se la strage costò la vita a 347 vietnamiti. In seguito la confutazione di Powell sarebbe stata definita un atto di "white-washing" (candeggiatura) delle notizie del massacro, e la questione avrebbe continuato a restare nascosta. Nel 1970 fu promosso tenente colonnello.

Ricevette il suo primo incarico governativo nel 1972, come assistente del sottosegretario Frank Carlucci. Dal 1976 al 1977 comandò la 2ª Brigata della 101ª Divisione Aviotrasportata. Nel 1979 fu promosso brigadier generale. Quindi dal 1981 prestò servizio come aiutante di campo del Segretario della difesa Caspar Weinberger sotto la presidenza di Ronald Reagan, che assisté durante l'invasione di Grenada del 1983. Nel 1986 Powell assunse il comando del V Corpo a Francoforte, in Germania. Promosso tenente generale, l'anno successivo, servì come vice consigliere per la sicurezza nazionale degli Stati Uniti, sempre con Frank Carlucci. Dal 23 novembre 1987 al 20 gennaio 1989, ricoprì l'incarico di consigliere per la sicurezza nazionale sotto la presidenza Reagan.

La sua ultima assegnazione militare avvenne dal 1º ottobre 1989 al 30 settembre 1993 come dodicesimo capo dello stato maggiore congiunto, nominato dal presidente George Bush Sr., la più alta posizione militare nel reparto di difesa statunitense: all'età di 52 anni, diventò l'ufficiale più giovane a ricevere questo incarico.^[3] Con il nuovo incarico gestì 28 crisi, compresa l'invasione statunitense di Panama nel 1989, per rimuovere il generale Manuel Noriega (collaboratore CIA e personale amico del presidente Bush insediato a Panama dallo stesso governo Americano) e l'Operazione Desert Storm nella guerra del Golfo del 1991.^[4]

Nel 1993 si ritirò dalla vita militare, dedicandosi soprattutto all'attività politica e alla cura di varie organizzazioni no-profit. Nel 1995, nonostante non fosse in corsa, Powell vinse le primarie repubblicane del New Hampshire per la vicepresidenza degli Stati Uniti del 1996. Nel 1997 Powell fondò America's Promise con l'obiettivo di aiutare i bambini di tutti i settori socioeconomici. Powell sostenne Bush per la presidenza e parlò a suo favore alla Convention nazionale repubblicana del 2000.

Dal 2001 al 2005, ricoprì la carica di Segretario di Stato degli Stati Uniti durante la presidenza di George W. Bush. Durante il Consiglio di sicurezza delle Nazioni Unite, il 5 febbraio 2003, a New York, tenne il suo discorso più celebre dove denunciò l'Iraq come produttore di armi di distruzione di massa con una presentazione PowerPoint e come prova concreta agitò una fialetta contenente della polvere bianca (antrace). Un mese dopo l'Iraq fu invaso: successivamente le affermazioni di Powell risultarono completamente false, come dovette ammettere lui stesso.^[5] Secondo una incontrollata fuga di notizie, si disse poi che il contenuto di quella provetta fosse costituito da urine addizionate a talco per neonati. La guerra civile, diretta conseguenza dell'invasione, ha portato a perdite civili tra la popolazione irachena stimate sull'ordine del milione di morti violente.

Pur dichiarandosi repubblicano, ed essendo registrato come tale, sia nelle elezioni presidenziali del 2008 che in quelle del 2012 espresse pubblicamente il proprio sostegno in favore del candidato democratico Barack Obama,^[6][7] attirandosi così le critiche di diversi esponenti repubblicani. Inoltre dichiarò pubblicamente di aver votato il candidato democratico Hillary Clinton alle presidenziali 2016, insieme all'ex presidente Bush Sr.; nel giugno 2020 annunciò di aver intenzione di votare per Joe Biden alle presidenziali 2020.

Powell, che era in cura per mieloma multiplo ed era affetto da Parkinson, è morto il 18 ottobre 2021, all'età di 84 anni, per complicazioni da COVID-19 presso il Walter Reed National Military Medical Center di Bethesda, nel Maryland. Powell si era vaccinato contro la malattia, ma il suo sistema immunitario, già compromesso dal mieloma, non aveva retto.^[8]

Alla cerimonia funebre, tenutosi il 5 novembre presso la cattedrale nazionale di Washington, erano presenti il Presidente Joe Biden e gli ex presidenti Barack Obama e George Bush Jr., insieme alla First Lady Jill Biden e alle ex first lady Michelle Obama, Laura Bush e Hillary Clinton (in rappresentanza anche di suo marito, l'ex presidente Bill Clinton, che ha deciso di non partecipare dopo il trattamento per la sepsi) così come molti altri dignitari. Il giorno successivo, in seguito al funerale militare, è stato sepolto presso il cimitero nazionale di Arlington.