Isaac y Betsey Bailey fueron abuelos de Frederick Douglass y tuvieron varios hijos (todos niñas): Jenny, Esther, Milly, Priscilla y Harriet (madre de Frederick).

El capitán Anthony era el dueño de Betsey Bailey, y por lo tanto, TODOS sus hijos eran propiedad del capitán Anthony (a pesar del hecho de que el abuelo de Frederick Douglass, Issac, era libre).

El capitán Anthony hizo que muchos de los niños, que nacieron de personas de su propiedad, se quedaran con Betsey Bailey, que los cuidaría durante los primeros años de sus vidas, ya que no le servían como trabajadores cuando eran niños pequeños y bebés.

De esta manera, Betsey Bailey pudo cuidar de sus propios nietos, ya que ella e Issac tuvieron a todas las niñas y varias de ellas tuvieron hijos, incluida Harriet.

Por lo tanto, Frederick Douglass se quedó con su abuela y su abuelo durante los primeros años de su vida, mientras que su madre se vio obligada a trabajar como mano de obra en una granja de la zona a unos kilómetros de distancia.

El capitán Anthony era un supervisor en la plantación del Coronel Lloyd en Maryland-los Lloyds eran una familia bien conocida en Maryland were estaban entre los mayores productores de trigo y propietarios de personas en el estado de Maryland y el Capitán Anthony era uno de sus principales supervisores.

Cuando los niños, que estaban siendo cuidados por la abuela de Frederick Douglass, tenían unos cinco o seis años, el capitán Anthony la obligaba a traérselos donde trabajaba porque vivía en una pequeña casa roja en la plantación del Coronel Lloyd.

Betsey tuvo que llevar a Frederick a esta casa, cuando tenía unos cinco o seis años, y entregarlo al capitán Anthony, quien lo haría trabajar en la granja y ser un compañero de ayuda para el hijo del Coronel Lloyd.

Frederick Douglass estaba en esta nueva plantación sin su madre, ni sus abuelos, y con hermanos a los que apenas conocía. La madre de Federico, Harriet, sabía dónde estaban sus hijos e hizo todo lo posible para llegar a verlos.

Harriet se vio obligada a trabajar en una plantación a unos doce kilómetros de donde estaban sus hijos. No se le permitió, por supuesto, salir de la plantación, pero lo hizo de todos modos. Esperó hasta que se pusiera el sol y caminó doce millas hasta la plantación donde se alojaban Frederick y sus otros hijos y pasó todo el tiempo que pudo con sus hijos.

Frederick recordó que no era frecuente que viera a su madre, pero cuando la vio, esos recuerdos se grabaron en su cerebro. Ella se sentaba con él, a veces, hasta que se quedaba dormido y cuando Frederick se despertaba, ella se había ido.

Tuvo que volver a la granja de la que escapó antes de que saliera el sol o se descubriría que se había ido y sería golpeada severamente.

Así que Harriet, la madre de Frederick, caminaba doce millas después de que el sol se pusiera para ver a sus hijos, luego se daba la vuelta y viajaba otras doce millas, todo en la misma noche.

Este fue el amor de una madre.

Pasó poco tiempo antes de que su madre falleciera y Federico ni siquiera lo supo hasta después de que ella muriera. Pero otro descubrimiento notable, sobre su madre, lo impactaría por el resto de su vida: ¡descubrió que ella sabía leer! Este fue un logro increíble a los ojos de muchas de las personas que conocía, porque ella era la única persona, que fue esclavizada, que se sabía que podía leer en that are of Tuckahoe, en el condado de Talbot, Maryland. Estaba fascinado por esta información y acredita este conocimiento sobre su madre como la motivación que tenía que inspiró su amor de toda la vida por la lectura.