virksomheden blev grundlagt i 1919 af General Motors (GM) som General Motors Acceptance Corporation (GMAC) for at yde finansiering til bilkunder. I 1939 grundlagde virksomheden Motors Insurance Corporation og trådte ind på bilforsikringsmarkedet.

i 1985, mens GM var under ledelse af Roger Smith, der søgte at diversificere virksomheden, dannede GMAC GMAC Mortgage og erhvervede Colonial Mortgage samt servicearm af Nordvest Mortgage, som omfattede en realkreditportefølje på 11 milliarder dollars.

i 1991 blev virksomheden tvunget til at afskrive 275 millioner dollars i dårlig gæld som en del af et tab på 436 millioner dollars, der blev lidt af svig begået af John McNamara, der kørte en Poni-ordning.

i 1998 dannede virksomheden GMAC Real Estate. I 1999 købte GMAC Mortgage Ditech. I 2000 dannede virksomheden GMAC Bank, en direkte bank. I 2005 dannede virksomheden GMAC ResCap som et holdingselskab for sine realkreditoperationer.

i 2006 solgte General Motors en andel på 51% I GMAC til Cerberus Capital Management, et kapitalfondsfirma. Også det år solgte GMAC en kontrollerende andel af GMAC Commercial Holdings (dens ejendomsafdeling omdøbt Capmark) til Goldman Sachs, Kohlberg Kravis Roberts og Five Mile Capital Partners. GMAC fast ejendom blev solgt til Brookfield Asset Management. I 2009 indgav Capmark konkurs, og dets nordamerikanske låneoprindelses-og serviceforretning blev erhvervet af Berkadia, et joint venture mellem Leucadia National og Berkshire.

den 24. December 2008 accepterede Federal Reserve selskabets ansøgning om at blive bankholdingselskab. I januar 2009 lukkede virksomheden Nuvell Financial Services, dens subprime-udlånsafdeling.

som et resultat af tab i GMAC ResCap investerede det amerikanske finansministerium 17, 2 milliarder dollars i virksomheden i 2008-2009. Statskassen solgte sin sidste andel i virksomheden i 2014 og genvandt 19,6 milliarder dollars fra sin investering på 17,2 milliarder dollars.

i maj 2009 blev GMAC Bank omdøbt som Ally Bank. I maj 2010 genmærkede GMAC sig selv som Ally Financial. I September 2010 solgte virksomheden sin resort finance-forretning til Centerbridge Partners. I 2012 solgte virksomheden sine Canadiske bankaktiviteter til Royal Bank of Canada for 3,8 milliarder dollars. I April 2014 blev det et offentligt selskab via et børsintroduktion. I 2015 flyttede det sit hovedkvarter til One Detroit Center, som efterfølgende blev omdøbt til Ally Detroit Center. I Juni 2016 erhvervede virksomheden TradeKing, en børsmæglervirksomhed, for $275 millioner, som blev ommærket som Ally Invest.

i maj 2016 gik Ally Bank igen ind i realkreditbranchen med lanceringen af sit direkte-til-forbruger-tilbud kaldet Ally Home. I April 2019 samarbejdede Ally Home med Better.com at lancere en digital pant platform.

i 2016 flyttede virksomheden mere end 1.500 ansatte til 13 etager i Ally Detroit Center. I 2017 underskrev Ally en lejekontrakt på 400.000 kvadratmeter ved Ally Charlotte Center i Charlotte, North Carolina, der planlægges afsluttet i 2021, og flytter sine kontorer fra 440 South Church.