Nació el 7 de octubre de 1766, en el castillo de Falga (Haute-Garonne), hijo de un General ingeniero. Entre 1785 y 1792 sirvió como Subteniente en las tropas del rey de Cerdeña, y posteriormente sirvió como dragón en el regimiento de caballería francés de Noailles, denominado 15º de dragones, con los que combatió en la campaña de los Pirineos Orientales, en la que ascendió a Capitán, y fue ayudante de campo del general De Nucé, y el día 22 de julio resultó herido de un disparo en el muslo, en el combate de Truillas. Ayudante general en 1795, estuvo destinado en los ejércitos del Sambre y Mosa. El 17 de diciembre de 1795, un proyectil de artillería enemigo le rompe la pierna izquierda, y tras larga convalecencia, frecuenta la amistad de Bonaparte. Cuando vuelve al servicio activo lo hace preparando la campaña de Egipto, organizando los servicios auxiliares para la campaña y la preparación de los más de 300 barcos que se aprovisionan en el puerto de Tolón, para transportarán a las tropas, semovientes y demás bagajes.

El 11 de agosto de 1798 combate cerca de Salheyeh, y protagoniza una salvaje carga sable en mano, que finalmente le supone una reprimenda por la temeridad con que la efectuó. Una vez tomada la ciudad de El Cairo, a Cafarelli le corresponde su fortificación, permitiendo la posibilidad de mantener expedita la vía entre Alejandría y el río Nilo. Construye molinos de viento para la intendencia francesa, instala conducciones de agua y protege las joyas faraónicas, aunque muchas de ellas las embala para llevarlas a París. Cuando Bonaparte marcha hacia Siria, Cafarelli está a su lado, y cuando las tropas retornan a Francia, Caffarelli marchará a los ejércitos de Alemania y del Rhin.

El 26 de abril de 1799 contrajo matrimonio con Julienne d’Hervilly. Con el ejército de reserva combatió a Marengo, ascendiendo al grado de General de brigada el 16 de mayo de 1802. En 1803 el Emperador le encomendó la embajada ante el Papa, por lo que acudió a Roma para negociar con él la fecha en que debía de acudir a Francia para coronar al Emperador. Bonaparte le promocionó al grado de General de división, el 1 de febrero de 1805, nombrándole Gobernador de las Tullerías, y presidente del Colegio electoral de Calvados, en Normandía. Fue mantenido como ayuda de campo de Napoleón, y por ello se halló el 2 de diciembre incorporado al III Cuerpo de Ejército francés, que estaba al mando de Davout, y donde Caffarelli mandaba una división de infantería en la batalla de Austerlitz. En un determinado momento tomó los coraceros de Hautpoul y los lanzó para abrir brecha en las filas enemigas, logrando su objetivo y posibilitando la consecución del ataque francés. En 1806, fue nombrado Gran Cordón de la Legión de Honor, y poco después Bonaparte le designó de Ministro de Guerra en el reino de Italia.

Un nuevo galardón le hace Conde del Imperio y acude a la cabeza de una división de reserva en el Ejército del Norte, que inicia la invasión de la Península Ibérica donde estuvo en diferentes batallas contra los españoles, en uno de los cuales, el 29 de febrero de 1812 resultó herido en la frente. En abril se hace cargo del mando general de aquel Ejército, participando en el asedio a Burgos y en el sitio de Bilbao. En 1813 se hallaba de nuevo en Francia, volviendo a ocuparse como ayudante de campo de Napoleón, y haciéndose cargo el 9 de abril de la Guardia Imperial. En 1814 acompaña a la emperatriz Maria Luisa y al Rey de Roma hasta Viena. Ayudante de campo del Emperador, manda la 1ª división en 1815. Estaba condecorado con la Cruz de Caballero de la Corona de Hierro, Gran Águila de la Legión de Honor, y Caballero de San Luis por el monarca de la Restauración.

Durante el retorno de Bonaparte en el denominado Gobierno de los Cien Días, Cafarelli estuvo al lado de Napoleón, mandando la 1ª división de su Ejército. Llegado el Gobierno restaurador le nombraron Par de Francia el 19 de noviembre de 1831 y fue Secretario de la Alta Asamblea en los cursos 1832 y 1840, cupiéndole el honor de haber sido él quien redactó y propuso el retorno a París de las cenizas del Emperador.

Su nombre está inscrito en el lado Sur del Arco de Triunfo.

Falleció en Leschelles (Aisne), el 23 de enero de 1849, cuando contaba con 83 años de edad.