yhtiön perusti General Motors (GM) vuonna 1919 nimellä General Motors Acceptance Corporation (GMAC) tarjotakseen rahoitusta autoalan asiakkaille. Vuonna 1939 yhtiö perusti Motors Insurance Corporationin ja tuli ajoneuvovakuutusmarkkinoille.

vuonna 1985 GM: n toimiessa Roger Smithin johdolla, joka pyrki monipuolistamaan yhtiötä, GMAC perusti GMAC Mortgagen ja osti Colonial Mortgagen sekä Norwest Mortgagen huoltohaaran, johon kuului 11 miljardin dollarin asuntolainasalkku.

vuonna 1991 yhtiö joutui mitätöimään 275 miljoonan dollarin luottotappiot osana 436 miljoonan dollarin tappiota, joka aiheutui Ponzi-huijausta johtaneen John McNamaran petoksesta.

vuonna 1998 yhtiö muodosti GMAC Real Estate-yhtiön. Vuonna 1999 GMAC Mortgage osti Ditechin. Vuonna 2000 yhtiö muodosti GMAC Bank-nimisen SUORAPANKIN. Vuonna 2005 yhtiö muodosti GMAC Rescapin holdingyhtiöksi asuntoluottotoimintaansa varten.

vuonna 2006 General Motors myi 51 prosentin osuuden GMAC: stä pääomasijoitusyhtiö Cerberus Capital Managementille. Samana vuonna GMAC myi määräysvallan GMAC Commercial Holdings – yhtiössä (sen kiinteistöosasto nimettiin Capmarkiksi) Goldman Sachsille, Kohlberg Kravis Robertsille ja Five Mile Capital Partnersille. GMAC Real Estate myytiin Brookfield Asset Managementille. Vuonna 2009 Capmark hakeutui konkurssiin ja sen pohjois-Amerikan lainojen tuottaminen-ja huoltotoiminnot osti Leucadia Nationalin ja Berkshire Hathawayn yhteisyritys Berkadia.

24.joulukuuta 2008 Yhdysvaltain keskuspankki hyväksyi yhtiön hakemuksen tulla pankkien holdingyhtiöksi. Tammikuussa 2009 yhtiö sulki subprime-luotonantodivisioonansa Nuvell Financial Servicesin.

GMAC ResCap-yhtiön tappioiden seurauksena Yhdysvaltain valtiovarainministeriö sijoitti yhtiöön 17,2 miljardia dollaria vuosina 2008-2009. Valtiovarainministeriö myi viimeisen osuutensa yhtiöstä vuonna 2014 ja sai takaisin 19,6 miljardia dollaria 17,2 miljardin dollarin sijoituksestaan.

toukokuussa 2009 GMAC Bank nimettiin uudelleen Ally Bankiksi. Toukokuussa 2010 GMAC brändäsi itsensä uudelleen Ally Financialiksi. Syyskuussa 2010 yhtiö myi lomakeskusten rahoitusliiketoimintansa Centerbridge Partnersille. Vuonna 2012 yhtiö myi Kanadan pankkitoimintansa Royal Bank of Canadalle 3,8 miljardilla dollarilla. Huhtikuussa 2014 siitä tuli julkinen yhtiö listautumisannin kautta. Vuonna 2015 se siirsi pääkonttorinsa One Detroit Centeriin, joka myöhemmin nimettiin Ally Detroit Centeriksi. Kesäkuussa 2016 yhtiö osti 275 miljoonalla dollarilla osakevälittäjä Tradekingin, joka brändättiin uudelleen Ally Investiksi.

toukokuussa 2016 Ally Bank palasi asuntolainabisnekseen lanseeraamalla Ally Home-nimisen suoraan kuluttajille suunnatun osakeantinsa. Huhtikuussa 2019 Ally Home teki yhteistyötä Betterin kanssa.com käynnistää digitaalisen kiinnitysalusta.

vuonna 2016 yhtiö siirsi yli 1 500 työntekijää Ally Detroit Centerin 13 kerrokseen. Vuonna 2017 Ally allekirjoitti vuokrasopimuksen 400 000 neliön Ally Charlotte Centeristä Charlottessa, Pohjois-Carolinassa, jonka on määrä valmistua vuonna 2021, ja siirtää toimistonsa 440 South Churchista.