Il gruppo si formò a Canton, Ohio, nel 1958, mentre i suoi membri frequentavano la Canton McKinley High School. Originariamente conosciuti come The Mascots, e poi The Triumphs, gli amici iniziarono a registrare con “Miracles” nel 1961, che fu un successo moderato nell’area di Cleveland. Nel 1963, hanno preso il nome di “The O’Jays,” in omaggio a Cleveland radio disc jockey Eddie O’Jay che faceva parte del potente team di gestione di Frankie Crocker, Herb Hamlett & Eddie O’Jay, (Toop, 1991). Nel 1963, gli O’Jays pubblicarono “Lonely Drifter”, il loro primo successo nella Billboard Hot 100, raggiungendo la posizione #93. Il loro album di debutto, pubblicato poco dopo era Comin ‘ Through.

Nonostante il loro successo come gruppo itinerante e nelle classifiche R & B, il gruppo aveva preso in considerazione l’idea di abbandonare l’industria musicale nel 1972. In quel periodo, i membri originali Bill Isles e Bobby Massey se ne andarono, lasciando il gruppo un trio. I restanti tre membri originali, Eddie Levert, William Powell e Walter Williams, soldied on and Gamble& Huff, un team di produttori e cantautori con cui gli O’Jays avevano lavorato per diversi anni, li firmò per la loro etichetta Philadelphia International. Improvvisamente, le fortune degli O’Jays cambiarono, e alla fine segnarono con il loro primo milione di vendite, “Back Stabbers”, dall’album omonimo. Questo album ha prodotto molti altri singoli di successo, tra cui” 992 Arguments”,” Sunshine”,” Time To Get Down “e il #1 pop smash,” Love Train.”

Dopo aver aggiunto Sammy Strain (nato il 9 dicembre 1939) (di Little Anthony and the Imperials), gli O’Jays continuarono a registrare, anche se con scarso successo. Nel 1978, il gruppo pubblicò “Use ta Be My Girl”, che fu il loro ultimo successo nella Top-Five, anche se continuarono a piazzare canzoni nelle classifiche R & B per tutto il 1980. Il successo degli O’Jays non fu limitato agli Stati Uniti, poiché registrarono anche nove singoli di successo nel Regno Unito tra il 1972 e il 1983, tra cui quattro brani che raggiunsero la Top 20 nella UK Singles Chart. Il loro album del 1987, Let Me Touch You, fu una sorta di svolta, e includeva il # 1 R&B hit “Lovin’ You.”Anche se hanno continuato a tracciare le classifiche R&B tra la fine degli anni 1980 e l’inizio degli anni 1990, gli O’Jays non hanno mai più raggiunto il successo pop. Nel 1992, Sammy Strain lasciò il gruppo e tornò agli Imperials. La partenza di Strain fu riempita da Nathaniel Best (nato il 13 dicembre 1960), che fu poi sostituito da Eric Grant. Più tardi nel 1990, il gruppo ha fatto poco di registrazione, anche se sono rimasti un popolare sorteggio dal vivo. Il loro ultimo album è stato Imagination, pubblicato nel 2004.