El grupo se formó en Canton, Ohio, en 1958 mientras sus miembros asistían a Canton McKinley High School. Originalmente conocidos como The Mascots, y luego The Triumphs, The friends comenzaron a grabar con «Miracles» en 1961, que fue un éxito moderado en el área de Cleveland. En 1963, tomaron el nombre de «The O’Jays», en homenaje al disc jockey de la radio Cleveland Eddie O’Jay, que formó parte del poderoso equipo directivo de Frankie Crocker, Herb Hamlett & Eddie O’Jay, (Toop, 1991). En 1963, The O’Jays lanzó «Lonely Drifter», su primer éxito nacional en el Billboard Hot 100, alcanzando el puesto #93. Su álbum debut, lanzado poco después, estaba llegando.

A pesar de su éxito como grupo de gira y en las listas R&B, el grupo había estado considerando abandonar la industria de la música en 1972. En esa época, los miembros originales Bill Isles y Bobby Massey se marcharon, dejando al grupo como un trío. Los tres miembros originales restantes, Eddie Levert, William Powell y Walter Williams, soldiered on and Gamble & Huff, un equipo de productores y compositores con los que los O’Jays habían estado trabajando durante varios años, firmaron con su sello Philadelphia International. De repente, la fortuna de los O’Jays cambió, y finalmente anotaron con su primer millón de ventas, «Back Stabbers», del álbum del mismo nombre. Este álbum produjo varios sencillos de éxito más, incluyendo «992 Arguments», «Sunshine», «Time To Get Down» y el éxito pop #1, «Love Train».»

Después de añadir a Sammy Strain (nacido el 9 de diciembre de 1939) (de Little Anthony and the Imperials), los O’Jays continuaron grabando, aunque con un éxito limitado. En 1978, el grupo lanzó «Use ta Be My Girl», que fue su último éxito entre los cinco primeros, aunque continuaron colocando canciones en las listas R&B a lo largo de la década de 1980. El éxito de los O’Jays no se limitó a los Estados Unidos, ya que también registraron nueve sencillos exitosos en el Reino Unido entre 1972 y 1983, incluyendo cuatro canciones que alcanzaron el Top 20 en la lista de Singles del Reino Unido. Su álbum de 1987, Let Me Touch You, fue un gran avance, e incluyó el éxito #1 R&B «Lovin’ You. A pesar de que continuaron en las listas R&B a finales de la década de 1980 y principios de la de 1990, los O’Jays nunca más lograron el éxito pop. En 1992, Sammy Strain dejó el grupo y regresó a The Imperials. La partida de Strain fue ocupada por Nathaniel Best (nacido el 13 de diciembre de 1960), quien más tarde fue reemplazado por Eric Grant. Más tarde, en la década de 1990, el grupo hizo pocas grabaciones, aunque siguieron siendo un popular sorteo en vivo. Su último álbum fue Imagination, que fue lanzado en 2004.

Problemas al reproducir este archivo? Consulte la ayuda de medios.

En 2003, el trío coprotagonizó la película The Fighting Temptations, protagonizada por Cuba Gooding Jr. y Beyoncé Knowles. En la película, interpretaron a tres barberos con una increíble armonía vocal que se unieron al coro de la iglesia local para ayudar a los protagonistas de la película: Darrin (Gooding) y Lilly (Knowles), que eran el director del coro y la cantante principal, respectivamente.

En 2005, los O’Jays fueron incluidos en el Salón de la Fama del Rock and Roll. Los miembros originales Eddie Levert, Walter Williams, Bobby Massey y, póstumamente, William Powell, fueron incluidos. En una nota de controversia, Sammy Strain también fue incluido con el grupo, mientras que el miembro original Bill Isles no lo fue. (Strain es uno de los pocos artistas en la historia de la música popular que es un doble miembro de RRHOF: con The O’Jays en 2005, y Little Anthony and the Imperials en 2009). En 2006, los O’Jays actuaron en los premios ESPY, presentados por Lance Armstrong. «For the Love of Money» fue el tema principal del exitoso reality show The Apprentice, protagonizado por Donald Trump, y el grupo una vez interpretó la canción en vivo en el programa.

El 23 de febrero de 2007, el sitio web de Radio-Canada informó que el ministro de Industria canadiense, Jim Prentice, había utilizado la canción «For The Love of Money» sin el permiso del grupo durante un evento político, un paso en falso ya que Prentice es responsable de la aplicación de la Ley de Derechos de Autor en Canadá. Radio-Canadá también informó que desde entonces Prentice ha sido contactado por los abogados de The O’Jays y Warner/Chappell Music.

El 28 de junio de 2009, en el Espectáculo de Premios BET 2009 en el Auditorio Shrine, los O’Jays fueron honrados con el Premio Life Time Achievement 2009 de BET. Tevin Campbell, Trey Songz, Tyrese Gibson y Johnny Gill interpretaron un popurrí de las canciones del grupo, seguido de la presentación del premio por Don Cornelius. El grupo recordó, bromeó con el público y aceptó su premio antes de realizar interpretaciones de sus canciones exitosas.

El 30 de octubre de 2010, el grupo se presentó en el Mitin de Jon Stewart y Stephen Colbert para Restaurar la Cordura y/o el Miedo en Washington, D. C. En Cleveland, Ohio, el 17 de agosto de 2013, Los O’Jays fueron incluidos en el National Rhythm & Blues Hall of Fame. Los O’Jays también son dos veces incluidos en el Salón de la Fama de los Grammy por sus canciones » Love Train «(incluida en 2006) y» For the Love of Money » (incluida en 2016).

El 25 de junio de 2019, la revista The New York Times incluyó a los O’Jays entre cientos de artistas cuyo material fue destruido en el incendio Universal de 2008.