företaget grundades 1919 av General Motors (GM) som General Motors Acceptance Corporation (GMAC) för att tillhandahålla finansiering till fordonskunder. År 1939 grundade företaget Motors Insurance Corporation och gick in på fordonsförsäkringsmarknaden.

1985, medan GM var under ledning av Roger Smith, som försökte diversifiera företaget, bildade GMAC GMAC Mortgage och förvärvade Colonial Mortgage samt servicearmen för Norwest Mortgage, som inkluderade en hypoteksportfölj på 11 miljarder dollar.1991 tvingades företaget skriva av 275 miljoner dollar i osäkra fordringar som en del av en förlust på 436 miljoner dollar som led av bedrägeri begått av John McNamara, som drev ett Ponzi-system.

1998 bildade företaget GMAC Real Estate. 1999 förvärvade GMAC Mortgage Ditech. År 2000 bildade företaget GMAC Bank, en direktbank. 2005 bildade företaget GMAC ResCap som ett holdingbolag för sin hypotekslånsverksamhet.under 2006 sålde General Motors 51% av aktierna i GMAC till Cerberus Capital Management, ett private equity-företag. Även det året sålde GMAC ett bestämmande intresse för GMAC Commercial Holdings (dess fastighetsavdelning bytt namn Capmark) till Goldman Sachs, Kohlberg Kravis Roberts och Five Mile Capital Partners. GMAC fastigheter såldes till Brookfield Asset Management. Under 2009 ansökte Capmark om konkurs och dess nordamerikanska låneverksamhet förvärvades av Berkadia, ett joint venture mellan Leucadia National och Berkshire Hathaway.

den 24 December 2008 accepterade Federal Reserve bolagets ansökan om att bli ett bankholdingbolag. I januari 2009 stängde företaget nuvell Financial Services, dess division subprime lending.

som ett resultat av förluster i GMAC ResCap investerade USA: s finansdepartement 17,2 miljarder dollar i företaget 2008-2009. Statskassan sålde sin sista andel i företaget 2014 och återhämtade 19,6 miljarder dollar från sin investering på 17,2 miljarder dollar.

i maj 2009 ommärktes GMAC Bank som Ally Bank. I maj 2010 ommärkte GMAC sig själv som Ally Financial. I September 2010 sålde företaget sin resort finance-verksamhet till Centerbridge Partners. År 2012 sålde företaget sin kanadensiska bankverksamhet till Royal Bank of Canada för 3,8 miljarder dollar. I April 2014 blev det ett offentligt företag via ett börsintroduktionserbjudande. År 2015 flyttade det sitt huvudkontor till ett Detroit-centrum, som därefter döptes om till Ally Detroit Center. I juni 2016 förvärvade företaget TradeKing, en börsmäklare, för 275 miljoner dollar, som ommärktes som Ally Invest.

i maj 2016 gick Ally Bank in i hypotekslånet igen med lanseringen av sitt direkt-till-konsumenterbjudande som heter Ally Home. I April 2019 samarbetade Ally Home med Better.com att starta en digital inteckning plattform.

år 2016 flyttade företaget mer än 1 500 anställda till 13 våningar i Ally Detroit Center. År 2017 tecknade Ally ett leasingavtal för 400 000 kvadratmeter vid Ally Charlotte Center i Charlotte, North Carolina, planerat att slutföras 2021 och kommer att flytta sina kontor från 440 South Church.