La compañía fue fundada en 1919 por General Motors (GM) como General Motors Acceptance Corporation (GMAC) para proporcionar financiamiento a clientes automotrices. En 1939, la compañía fundó Motors Insurance Corporation y entró en el mercado de seguros de vehículos.

En 1985, mientras GM estaba bajo el liderazgo de Roger Smith, que buscaba diversificar la compañía, GMAC formó GMAC Mortgage y adquirió Colonial Mortgage, así como el brazo de servicio de Norwest Mortgage, que incluía una cartera hipotecaria de 1 11 mil millones.

En 1991, la compañía se vio obligada a cancelar 275 millones de dólares en deudas incobrables como parte de una pérdida de 436 millones de dólares sufrida por fraude cometido por John McNamara, que dirigía un esquema Ponzi.

En 1998, la compañía formó GMAC Real Estate. En 1999, GMAC Mortgage adquirió Ditech. En 2000, la compañía formó GMAC Bank, un banco directo. En 2005, la compañía formó GMAC ResCap como un holding para sus operaciones hipotecarias.

En 2006, General Motors vendió una participación del 51% en GMAC a Cerberus Capital Management, una firma de capital privado. También ese año, GMAC vendió una participación mayoritaria de GMAC Commercial Holdings (su división de bienes raíces renombrada Capmark) a Goldman Sachs, Kohlberg Kravis Roberts y Five Mile Capital Partners. GMAC Real Estate fue vendido a Brookfield Asset Management. En 2009, Capmark se declaró en quiebra y su negocio de originación y servicio de préstamos en América del Norte fue adquirido por Berkadia, una empresa conjunta de Leucadia National y Berkshire Hathaway.

El 24 de diciembre de 2008, la Reserva Federal aceptó la solicitud de la compañía para convertirse en un holding bancario. En enero de 2009, la compañía cerró Nuvell Financial Services, su división de préstamos de alto riesgo.

Como resultado de las pérdidas en GMAC ResCap, el Departamento del Tesoro de los Estados Unidos invirtió 1 17,2 mil millones en la compañía en 2008-2009. El Tesoro vendió su última participación en la compañía en 2014, recuperando 1 19,6 mil millones de su inversión de 1 17,2 mil millones.

En mayo de 2009 GMAC Bank fue renombrado como Ally Bank. En mayo de 2010, GMAC se renombró como Ally Financial. En septiembre de 2010, la compañía vendió su negocio de financiación de complejos turísticos a Centerbridge Partners. En 2012, la compañía vendió sus operaciones bancarias canadienses al Royal Bank of Canada por 3 3,8 mil millones. En abril de 2014, se convirtió en una empresa pública a través de una oferta pública inicial. En 2015, trasladó su sede a One Detroit Center, que posteriormente pasó a llamarse Ally Detroit Center. En junio de 2016, la compañía adquirió TradeKing, un corredor de bolsa, por $275 millones, que fue rebautizado como Ally Invest.

En mayo de 2016, Ally Bank volvió a entrar en el negocio hipotecario con el lanzamiento de su oferta directa al consumidor llamada Ally Home. En abril de 2019, Ally Home se asoció con Better.com lanzará una plataforma hipotecaria digital.

En 2016, la compañía trasladó a más de 1.500 empleados a 13 pisos del Ally Detroit Center. En 2017, Ally firmó un contrato de arrendamiento de 400,000 pies cuadrados en el Centro Ally Charlotte en Charlotte, Carolina del Norte, que se completará en 2021, y trasladará sus oficinas de 440 South Church.