Después de retirarse del Ejército, el secretario Powell escribió su autobiografía My American Journey, libro que se publicó 1995 y que tuvo un gran éxito de venta. Asimismo, emprendió la carrera oratoria, dirigiéndose a públicos nacionales y extranjeros.

El presidente George W. Bush nombró a Colin L. Powell Secretario de Estado el 16 de diciembre de 2000. Fue confirmado unánimemente por el Senado de los Estados Unidos y prestó juramento como sexagésimo quinto Secretario de Estado el 20 de enero de 2001.Su cargo adquirió especial notoriedad mediática a raíz de la agresiva política exterior norteamericana desde 2001.

El Secretario de Estado norteamericano junto a la vicepresidenta del Consejo de Estado de China Wu Yi.

Durante los preparativos de la invasión norteamericana de Irak, el secretario Powell lideró frente al Departamento de Defensa del gobierno estadounidense la vía diplomática en la gestión de la crisis iraquí basada en el acuerdo en el Consejo de Seguridad de las Naciones Unidas. En tal sentido, los medios norteamericanos le otorgaron la condición de «paloma» dentro del gabinete, en contraposición a los «halcones» de la vicepresidencia y el Pentágono, partidarios estos últimos del unilateralismo norteamericano.

En su condición de jefe de la diplomacia norteamericana, protagonizó una intervención en el Consejo de Seguridad de Naciones Unidas que llevó su protagonismo al más alto nivel. Sus debates preludiaron la invasión anglo-estadounidense de Irak, pero la comprobación de que las denunciadas armas de destrucción masiva no existían malparó irremediablemente su historial diplomático. Por esta razón no fue confirmado en el cargo tras la reelección de George W. Bush como Presidente de los Estados Unidos.

El general Powell se ha declarado siempre como votante republicano. Sin embargo en 2008, Colin Powell ha hecho un comunicado oficial en un canal de televisión dando su apoyo oficial al Candidato demócrata a la Casa Blanca, Barack Obama. Este último después de enterarse a través de la prensa de sus elogios hacia él, invitó y aseguró a Colin Powell que ocuparía un cargo público de gran relevancia en una futura y posible Administración Obama.

Antes de su nombramiento, Powell fue presidente de America’s Promise–The Alliance for Youth, organización nacional sin fines de lucro dedicada a movilizar a personas de todos los sectores de la sociedad estadounidense para cimentar el carácter y la competencia de los jóvenes.

Powell está casado con Alma Vivian Johnson, de Birmingham (Alabama). Su familia está compuesta por su hijo Michael, sus hijas Linda y Anne, su nuera Jane, su yerno Francis, y sus nietos Jeffrey y Bryan.