Isaac og Betsey Bailey var Frederick Douglasss bedsteforældre, og de havde flere børn (alle piger): Jenny, Esther, Milly, Priscilla og Harriet (Fredericks mor).

kaptajn Anthony var den mand, der ejede Betsey Bailey, og derfor var alle hendes børn ejet af kaptajn Anthony (på trods af at Frederick Douglasss bedstefar, Issac, var fri).

kaptajn Anthony fik mange af de børn, der blev født af mennesker, han ejede, til at blive hos Betsey Bailey, som ville passe dem de første par år af deres liv, da de ikke var nyttige for ham som arbejdere, da de var småbørn og spædbørn.

på denne måde var Betsey Bailey i stand til at passe sine egne børnebørn, da hun og Issac havde alle piger, og flere af dem havde børn, inklusive Harriet.

således blev Frederick Douglass hos sin bedstemor og bedstefar de første par år af sit liv, mens hans mor blev tvunget til at arbejde som felthånd i en gård nogle miles væk.

kaptajn Anthony var Tilsynsmand på Oberst Lloyds plantation i Maryland—Lloyds var en velkendt familie i Maryland…de var blandt de største hvedeavlere og ejere af mennesker i staten Maryland, og kaptajn Anthony var en af deres største Tilsynsmænd.

da børnene, der blev passet af Frederick Douglasss bedstemor, var omkring fem eller seks år gamle, ville kaptajn Anthony få hende til at bringe dem til ham, hvor han arbejdede, fordi han boede i et lille rødt hus på Oberst Lloyds plantage.

Betsey måtte tage Frederick til dette hus, da han var omkring fem eller seks, og aflevere ham til kaptajn Anthony, som ville få ham til at arbejde rundt på gården og være en hjælpekammerat for oberst Lloyds søn.

Frederick Douglass var på denne nye plantage uden sin mor eller hans bedsteforældre og med søskende, som han næppe kendte. Fredericks mor, Harriet, vidste, hvor hendes børn var, og gjorde alt, hvad hun kunne for at komme til at se dem.

Harriet blev tvunget til at arbejde på en plantage omkring tolv miles væk fra hvor hendes børn var. Hun fik naturligvis ikke lov til at forlade plantagen, men det gjorde hun alligevel. Hun ventede indtil efter solen gik ned og gik de tolv miles til plantagen, hvor Frederick og hendes andre børn boede og tilbragte så meget tid som hun kunne med sine børn.

Frederick huskede, at det ikke var ofte, at han så sin mor, men da han så hende, blev disse minder brændt ind i hans hjerne. Hun sad til tider hos ham, indtil han faldt i søvn, og da Frederick vågnede, ville hun være væk.

hun var nødt til at komme tilbage til gården, som hun slap væk fra, før solen kom op, eller det ville blive opdaget, at hun var gået, og hun ville blive hårdt slået.

så Harriet, Frederiks mor, ville gå tolv miles efter at Solen gik ned for at se hendes børn, så vende om og rejse tilbage yderligere tolv miles—alt sammen i samme nat.

dette var en mors kærlighed.

det var kun kort tid, før hans mor ville gå forbi, og Frederick vidste det ikke engang, før hun var død. Men en anden bemærkelsesværdig opdagelse, om hans mor, ville påvirke ham resten af sit liv—han fandt ud af, at hun kunne læse! Dette var en utrolig præstation i øjnene på mange af de mennesker, han kendte, fordi hun var den eneste person, der var slaver, der var kendt for at være i stand til at læse i, der er af Tuckahoe, i Talbot County, Maryland. Han var fascineret af disse oplysninger og krediterer denne viden om sin mor som den motivation, han havde, der inspirerede hans livslange kærlighed til at læse!