Los afroamericanos comenzaron una migración por la isla de Manhattan a principios de 1800. Comenzando en Five Points, que ahora es el barrio Chino de la ciudad de Nueva York, se trasladaron sucesivamente a Washington Street en el Lower West Side, luego a Tenderloin en los años 20 y 30 del Oeste, hasta finales de 1890, cuando llegaron a 16 acres del Upper West Side llamado San Juan Hill.

Con la calle 59 como frontera sur y la Avenida Ámsterdam como frontera este, la avenida West End en la franja occidental y la calle 63 al norte, el pequeño distrito estaba repleto de casas de vecinos y fábricas. El barrio tenía aproximadamente 5.000 habitantes, mucho más que llenar las destartaladas viviendas de madera y ladrillo del antiguo barrio de Five Points. Justo al sur de la calle 59 yacía la famosa Hell’s Kitchen, dominada por inmigrantes irlandeses que competían con los residentes de San Juan Hill por trabajos de bajos salarios y cuyos jóvenes eran los principales rivales de los adolescentes negros en guerras de pandillas.

Los orígenes del nombre del barrio «Cerro San Juan» son desconocidos. El nombre puede haber derivado de los veteranos de Guerra hispano-estadounidenses negros que se absolvieron con valor junto al gobernador de Nueva York y futuro Presidente Theodore» Teddy » Roosevelt y sus Rudos Jinetes en Cuba. Cualquiera que sea el origen del nombre del vecindario, siempre fue un barrio pobre arenoso que en 1900 tenía una reputación de violencia de pandillas.

La colina de San Juan también dejó su huella cultural en la ciudad, creando una animada cultura de clubes en el sótano, a medida que los músicos actuaban para los residentes locales y aquellos que se aventuraban en el área desde el exterior. Uno de sus residentes más prominentes, James P. Johnson, fue un pianista influyente que conectó las eras del ragtime y el jazz en Nueva York. Su familia se mudó de Nueva Jersey a San Juan Hill en 1908. Allí grabó «Charleston» y » If I Could Be With You (One Hour Tonight)». Johnson fue mentor de Thomas Wright «Fats» Waller y otros «pianistas de zancada» que a menudo trabajaban en los pequeños clubes del vecindario, así como en lugares más prominentes de Harlem.

La próxima generación de músicos de la Colina de San Juan incluyó de manera prominente a Thelonious Monk. Aunque Monk nació en Carolina del Norte en 1917, para cuando tenía cinco años, su familia se había mudado al barrio de San Juan Hill, donde finalmente conoció a James P. Johnson y otros músicos de San Juan Hill. Thelonious Monk se convertiría en uno de los músicos de jazz más prominentes de la nación. Junto a Duke Ellington, compuso y grabó más estándares de jazz que cualquier otro músico a principios del siglo XX, incluyendo «‘Round Midnight», «Blue Monk» y «Straight, No Chaser».»A Monk se le atribuyó el desarrollo del estilo de jazz bebop de finales de la década de 1940.

Para la década de 1940, San Juan Hill había perdido a la mayoría de sus residentes negros. Los puertorriqueños los reemplazaron cuando la mayoría de los afroamericanos se mudaron al norte de Harlem. La Ley de Vivienda de 1949 permitió a la Ciudad de Nueva York tomar posesión de la zona. Luego, el desarrollador inmobiliario Robert Moses demolió las viviendas y construyó el Lincoln Center como escaparate de alta costura en Nueva York. La Ópera Metropolitana, la Orquesta Filarmónica de Nueva York y el Ballet de la Ciudad de Nueva York se mudaron al antiguo barrio de San Juan Hill, creando uno de los primeros ejemplos de lo que ahora se conoce generalmente como gentrificación.