Das Unternehmen wurde 1919 von General Motors (GM) als General Motors Acceptance Corporation (GMAC) gegründet, um Automobilkunden Finanzierungen anzubieten. 1939 gründete das Unternehmen die Motors Insurance Corporation und stieg in den Fahrzeugversicherungsmarkt ein.Im Jahr 1985, als GM unter der Führung von Roger Smith stand, der das Unternehmen diversifizieren wollte, gründete GMAC GMAC Mortgage und erwarb Colonial Mortgage sowie den Servicebereich von Norwest Mortgage, der ein Hypothekenportfolio von 11 Milliarden US-Dollar umfasste.Im Jahr 1991 war das Unternehmen gezwungen, 275 Millionen US-Dollar an Forderungsausfällen abzuschreiben, als Teil eines Verlusts von 436 Millionen US-Dollar, der durch Betrug von John McNamara, der ein Schneeballsystem betrieb, verursacht wurde.

1998 gründete das Unternehmen GMAC Real Estate. 1999 erwarb GMAC Mortgage Ditech. Im Jahr 2000 gründete das Unternehmen die GMAC Bank, eine Direktbank. Im Jahr 2005 gründete das Unternehmen GMAC ResCap als Holdinggesellschaft für seine Hypothekengeschäfte.Im Jahr 2006 verkaufte General Motors einen Anteil von 51% an GMAC an Cerberus Capital Management, eine Private-Equity-Gesellschaft. Ebenfalls in diesem Jahr verkaufte GMAC eine Mehrheitsbeteiligung an GMAC Commercial Holdings (dessen Immobiliensparte in Capmark umbenannt wurde) an Goldman Sachs, Kohlberg Kravis Roberts und Five Mile Capital Partners. GMAC Real Estate wurde an Brookfield Asset Management verkauft. Im Jahr 2009 meldete Capmark Insolvenz an und sein nordamerikanisches Kreditgeschäft wurde von Berkadia, einem Joint Venture von Leucadia National und Berkshire Hathaway, übernommen.Am 24.Dezember 2008 akzeptierte die Federal Reserve den Antrag des Unternehmens, eine Bankholdinggesellschaft zu werden. Im Januar 2009 schloss das Unternehmen Nuvell Financial Services, seine Subprime-Kreditabteilung.Infolge von Verlusten bei GMAC ResCap investierte das US-Finanzministerium in den Jahren 2008-2009 17,2 Milliarden US-Dollar in das Unternehmen. Das Finanzministerium verkaufte seine letzte Beteiligung an dem Unternehmen im Jahr 2014 und holte 19,6 Milliarden US-Dollar aus seiner Investition von 17,2 Milliarden US-Dollar zurück.Im Mai 2009 wurde die GMAC Bank in Ally Bank umbenannt. Im Mai 2010 benannte sich GMAC in Ally Financial um. Im September 2010 verkaufte das Unternehmen sein Resort Finance-Geschäft an Centerbridge Partners. Im Jahr 2012 verkaufte das Unternehmen seine kanadischen Bankgeschäfte für 3,8 Milliarden US-Dollar an die Royal Bank of Canada. Im April 2014 wurde es durch einen Börsengang in eine Aktiengesellschaft umgewandelt. Im Jahr 2015 verlegte das Unternehmen seinen Hauptsitz nach One Detroit Center, das später in Ally Detroit Center umbenannt wurde. Im Juni 2016 erwarb das Unternehmen TradeKing, einen Börsenmakler, für 275 Millionen US-Dollar, der in Ally Invest umbenannt wurde.Im Mai 2016 stieg die Ally Bank mit der Einführung ihres Direct-to-Consumer-Angebots namens Ally Home wieder in das Hypothekengeschäft ein. Im April 2019 ging Ally Home eine Partnerschaft mit Better ein.com, um eine digitale Hypothekenplattform zu starten.

Im Jahr 2016 verlegte das Unternehmen mehr als 1.500 Mitarbeiter in 13 Etagen des Detroit Centers. Im Jahr 2017 unterzeichnete Ally einen Mietvertrag für 400.000 Quadratmeter im Ally Charlotte Center in Charlotte, North Carolina, das 2021 fertiggestellt werden soll, und wird seine Büros von 440 South Church verlegen.