Nació como Clarence LaVaughn Walker en el condado de Sunflower, Misisipi, Estados Unidos, hijo de los aparceros Willie y Rachel (de soltera Pittman) Walker. C. L. Franklin recordaría que lo único que su padre hizo por él fue enseñarle a saludar cuando regresó del servicio en la Primera Guerra Mundial en 1919. Willie Walker abandonó a la familia cuando Clarence tenía cuatro años. Al año siguiente Rachel se casó con Henry Franklin, cuyo apellido adoptó la familia.

A los 16 años, se convirtió en predicador, inicialmente trabajando en el circuito de predicación itinerante Negra, antes de establecerse en la Iglesia Bautista de New Salem en Memphis, Tennessee, donde permaneció hasta mayo de 1944. Desde allí se trasladó al púlpito de la Iglesia Bautista de la Amistad en Búfalo, Nueva York, donde sirvió hasta junio de 1946, cuando se convirtió en pastor de la Nueva Iglesia Bautista Bethel en Detroit, Míchigan. A finales de los años 1940 y 1950 su fama creció. Predicó por todo el país, mientras mantenía su púlpito en Nueva Betel. Conocido como el hombre de la «Voz del millón de dólares», Franklin grabó muchos de sus sermones en la década de 1970 (muchos de ellos emitidos por el sello JVB de Joe Von Battle), y los sermones se transmitieron por radio los domingos. Ordenó hasta 4 4000 por aparición para sus apariciones públicas, tarifas altas para la época.

Entre sus sermones más famosos estaban «El Águila Agita su Nido» y «Huesos secos en el Valle». En 2011, «El Águila Agita su Nido» se agregó al Registro Nacional de Registros de la Biblioteca del Congreso. Los sermones seleccionados se publican en un volumen editado por University of Illinois Press. Franklin también era conocido por su voz para cantar, y un estilo de predicación que seguía orgánicamente a la canción; también alentó a su hija Aretha Franklin en sus esfuerzos musicales. Durante la década de 1950 la llevó con él en giras de conferencias y compromisos musicales, y formó un grupo a capella con Anthony Alexander Chamblee, su primo hermano.

En las décadas de 1950 y 1960, se involucró en el movimiento de derechos civiles, y trabajó para poner fin a las prácticas discriminatorias contra los miembros negros del United Auto Workers en Detroit. Franklin era amigo y partidario de Martin Luther King Jr. Ayudó a dirigir la marcha por la libertad del Dr. King por la Avenida Woodward en Detroit en junio de 1963.