Milán y otras cinco ciudades resistieron, y en octubre de 1238 tuvo que levantar el sitio de Brescia. En el mismo año, el matrimonio del hijo natural de Federico, Enzio, con la princesa Adelasia de Cerdeña y la designación de Enzio como rey de Cerdeña, en la que el papado reclamó la soberanía, llevó a la ruptura final con el Papa. Gregorio IX desconfiaba profundamente de Federico, tanto en asuntos religiosos como políticos: Se suponía que Federico había bromeado diciendo que Moisés, Cristo y Mahoma eran tres impostores que habían sido engañados, y en la arena política el Papa temía que los Estados Pontificios estuvieran a punto de ser aislados y rodeados, particularmente porque se había formado un partido pro imperial en Roma. Con el pretexto de que el emperador tenía la intención de expulsarlo de Roma, Gregorio excomulgó a Federico por segunda vez el domingo de Ramos, 20 de marzo de 1239. Este fue el comienzo de la última fase de la gigantesca lucha entre el papado y el imperio; terminó con la muerte del emperador y la caída de su casa.

Federico contrarrestó la excomunión con una serie de manifiestos importantes, la mayoría de ellos compuestos por Pietro della Vigna, un miembro de la cancillería imperial, que tenía excelentes dones literarios. El manifiesto enfatizaba que los cardenales estaban destinados a participar en el liderazgo de la iglesia, y Federico incluso trató de evocar la solidaridad entre los príncipes seculares. Sin embargo, también intensificó sus actividades militares en el norte de Italia. Con el fin de financiar su creciente necesidad de armas, instituyó una profunda reorganización administrativa de la Italia imperial (entre otras, la formación de 10 vicerregencias) y del Reino de Sicilia. Además, decretó la vigilancia rigurosa de la población. En el centro de Italia tomó la ofensiva, ocupando la Marca de Ancona y el Ducado de Spoleto, y en febrero de 1240 su ejército marchó hacia los Estados Pontificios y amenazó a Roma. En el último momento, sin embargo, el Papa se ganó el apoyo de los romanos.

Tras la derrota de una flota genovesa que traía delegados para un concilio papal a Roma, más de 100 eclesiásticos de alto rango, cardenales y obispos entre ellos, fueron llevados como prisioneros de Federico a Apulia. Sin embargo, esta victoria militar resultó ser una desventaja política: proporcionó material para la propaganda que representaba a Federico como un opresor de la iglesia.

Mientras aún acampaba ante Roma, Federico recibió la noticia de la muerte del Papa Gregorio y se retiró a Sicilia. Mientras tanto, los mongoles habían invadido Europa. Fueron detenidos temporalmente en la extremadamente sangrienta Batalla de Liegnitz en Silesia el 9 de abril de 1241, pero probablemente solo la muerte repentina de su líder, el gran kan Ögödei, impidió nuevos avances mongoles en ese momento.

El breve pontificado de Celestino IV fue seguido por un largo interregno. Cuando en 1243 Inocencio IV fue elegido, Federico, a instancias de los príncipes alemanes y del rey Luis IX de Francia, abrió negociaciones con el nuevo papa. El acuerdo entre el papa y el emperador parecía cercano en la evacuación de los Estados Pontificios, cuando en junio de 1244 Inocentes huyeron de la ciudad. En Lyon convocó un consejo para 1245 y en julio de ese año depuso al emperador, el obstáculo para la reconciliación aparentemente era el estado de las comunas lombardas.

La batalla entre el emperador y el papado se desató en plena furia. En el lado papal, el emperador fue marcado como el precursor del anticristo; en el lado imperial, fue aclamado como un mesías. El emperador apoyó la demanda contemporánea de que la iglesia regresara a la pobreza y santidad de la comunidad cristiana primitiva y nuevamente apeló a los príncipes de Europa para que se unieran a una liga defensiva contra los prelados hambrientos de poder. La mayoría de los príncipes, sin embargo, se mantuvieron neutrales, y, a pesar de que dos sucesivos antikings alemanes recibieron poco apoyo, el emperador perdió terreno en Alemania.

En mayo de 1247, el viaje planificado de Federico a Lyon para defender su propio caso ante el concilio papal fue interrumpido por la revuelta de la ciudad de Parma, situada estratégicamente. A raíz de esta debacle, gran parte del centro de Italia y la Romaña se perdieron. Al año siguiente, el emperador sufriría más golpes del destino; Pietro della Vigna, durante muchos años confidente del emperador, fue acusado de traición y se suicidó en prisión. En mayo de 1249, el rey Enzio de Cerdeña, el hijo favorito de Federico, fue capturado por los boloñeses y permaneció encarcelado hasta su muerte en 1272.

La posición del emperador, tanto en Italia como—gracias a los esfuerzos de su hijo, Conrado IV—en Alemania, estaba mejorando cuando murió inesperadamente en 1250. Fue enterrado en la catedral de Palermo cerca de su primera esposa, sus padres y su abuelo normando.

Cuando se publicó la noticia de su muerte, toda Europa se conmovió profundamente. Surgieron dudas de que estaba realmente muerto; falsos Fredericks aparecieron por todas partes; en Sicilia creció la leyenda de que había sido transportado al volcán Aetna; en Alemania que estaba encapsulado en una montaña y regresaría como el emperador de los últimos días para castigar a la iglesia mundana y restablecer pacíficamente el Sacro Imperio Romano Germánico. Sin embargo, también se pensaba que vivía en sus herederos. De hecho, sin embargo, dentro de los 22 años después de su muerte, todos ellos estaban muertos: víctimas de la batalla con el papado que su padre había comenzado.