Isaac ja Betsey Bailey olivat Frederick Douglassin isovanhempia ja heillä oli useita lapsia (kaikki tyttöjä): Jenny, Esther, Milly, Priscilla ja Harriet (Frederickin Äiti).

kapteeni Anthony omisti Betsey Baileyn, ja siksi kaikki hänen lapsensa olivat Kapteeni Anthonyn omistuksessa (huolimatta siitä, että Frederick Douglasin isoisä Issac oli vapaa).

kapteeni Anthony sai monet omistamilleen ihmisille syntyneet lapset jäämään Betsey Baileyn luokse, joka hoiti heitä elämänsä ensimmäiset vuodet, sillä heistä ei ollut hänelle hyötyä työläisinä taaperoina ja vauvoina.

näin Betsey Bailey pystyi huolehtimaan omista lapsenlapsistaan, sillä hänellä ja Issacilla oli kaikki tytöt ja useilla heistä lapsia, myös Harrietilla.

Niinpä Frederick Douglass jäi asumaan isoäitinsä ja isoisänsä luokse ensimmäiset elinvuotensa, kun taas hänen äitinsä joutui työskentelemään peltoapulaisena muutaman kilometrin päässä sijaitsevalla maatilalla.

kapteeni Anthony oli valvojana eversti Lloydin plantaasilla Marylandissa—Lloydit olivat tunnettu perhe Marylandissa…he olivat suurimpia vehnänviljelijöitä ja ihmisten omistajia Marylandin osavaltiossa ja kapteeni Anthony oli yksi heidän tärkeimmistä valvojistaan.

kun Frederick Douglasin isoäidin hoivissa olleet lapset olivat noin viisi-tai kuusivuotiaita, kapteeni Anthony pakotti hänet tuomaan heidät luokseen, missä hän työskenteli, koska hän asui pienessä punaisessa talossa eversti Lloyd ’ s plantationilla.

Betseyn oli otettava Frederick tähän taloon tämän ollessa noin viisi-tai kuusivuotias ja luovutettava hänet kapteeni Anthonylle, joka laittaisi hänet työskentelemään ympäri maatilaa ja toimimaan eversti Lloydin pojan apulaisena.

Frederick Douglass oli tällä uudella plantaasilla ilman äitiään tai isovanhempiaan ja sisarustensa kanssa, joita hän tuskin tunsi. Frederickin Äiti Harriet tiesi, missä hänen lapsensa ovat, ja teki kaikkensa saadakseen nähdä heidät.

Harriet joutui työskentelemään plantaasilla noin kahdentoista mailin päässä siitä, missä hänen lapsensa olivat. Hän ei tietenkään saanut poistua plantaasilta, mutta teki sen kuitenkin. Hän odotti, kunnes aurinko laski ja käveli kaksitoista mailia plantaasi, jossa Frederick ja hänen muut lapset olivat oleskelevat ja vietti niin paljon aikaa kuin hän voi lastensa kanssa.

Fredrik muisti, ettei hän usein nähnyt äitiään, mutta tämän nähdessään nuo muistot paloivat hänen aivoihinsa. Hän istui hänen kanssaan, ajoittain, kunnes hän nukahti ja kun Frederick heräsi hän oli poissa.

hänen oli päästävä takaisin maatilalle, jolta hän pakeni ennen auringon nousua, tai muuten huomattaisiin, että hän oli lähtenyt ja hänet hakattaisiin ankarasti.

niin Harriet, Frederickin äiti, käveli kaksitoista mailia auringon laskeuduttua katsomaan lapsiaan, kääntyi sitten ympäri ja matkusti takaisin toiset kaksitoista mailia—kaikki samana yönä.

tämä oli äidin rakkaus.

kului vain vähän aikaa ennen kuin hänen äitinsä menehtyi, eikä Fredrik edes tiennyt sitä ennen kuin oli kuollut. Mutta toinen huomattava havainto hänen äidistään vaikuttaisi häneen koko hänen loppuelämänsä ajan-hän sai selville, että äiti osasi lukea! Tämä oli uskomaton saavutus monien hänen tuntemiensa ihmisten silmissä, koska hän oli ainoa henkilö, joka oli orjuutettu, jonka tiedettiin osaavan lukea Tuckahoesta, Talbotin piirikunnasta, Marylandista. Hän oli kiehtonut tätä tietoa ja luottojen tämä tieto hänen äitinsä kuin motivaatiota hän oli, että innoitti hänen elinikäinen rakkaus lukeminen!