Nació el 31 de diciembre de 1769 en Douai. El 20 de abril de 1782 sentó plaza como soldado en el regimiento Suisse de Reinhart. Fue designado Caporal de su compañía en 1787. En 1792 es ayudante-mayor del 3^er batallón de "Voluntaires de Puy-de-Dôme", posteriormente denominado 38ª Semibrigada y transformado más tarde en el 103º regimiento de línea. Asciende a capitán, sirviendo como tal en los ejércitos de las Ardennes, Moselle, Suiza, Rhin y el Danubio, pasando el 26 de brumaire del año II (16 de noviembre de 1793) a ostentar el grado de capitán de granaderos. En 1799 se distinguió en las acciones de Emeding, en Brisgau y el 6 de marzo (16 ventôse año VII) en la de Reichnau, donde fue herido. Napoleón el 12 thermidor año VIII (31 de julio de 1800) le nombró jefe de batallón de la 103ª Semibrigada, y una vez repuesto se distingue excepcionalmente durante la campaña siguiente en las plazas de Moreau y Hohenlinden, en la que logra tomar cuatro cañones al enemigo. Para premiarle por este último hecho de armas, el 8 de abril de 1803 (18 germinal año XI) el general en jefe y ministro plenipotenciario en Suiza, mariscal Ney, en nombre de Napoleón le entrega un sable de Honor y un diploma en los términos más honrosos. El 21 de diciembre de 1804 (30 frimaire año XIII) fue designa mayor del 9º regimiento de línea, y miembro de la Legión de Honor, en abril de 1805. Puesto al mando de la 2ª Semibrigada d’elite (regimientos 58ª y 81ª de línea) en la división de granaderos mandada por el general Oudinot, e incluida en el 3^er Cuerpo de Ejército. El 27 de diciembre de 1805, durante el combate de Hollabrünn, Brayer dispersó el ala izquierda de la retaguardia rusa, y durante la batalla de Austerlitz, tomó más de 800 prisioneros, llevando a capitualar a los cerca de 8.000 rusos restantes. Finalizada la batalla Napoleón le ascendió al grado de Coronel, entregándole el mando del 2º regimiento de infantería ligera. Nuevamente destacará en las campañas de 1806 y 1807, cuando mandando la vanguardia del Ejército del mariscal Lefebvre durante el sitio de Dantzig, la toma de la isla de Nehrung, obteniendo como premio la Cruz de Oficial de la Legión de Honor. Durante la batalla en las inmediaciones de Heilsberg (ahora denominada Lidzbark), que tuvo lugar el 10 de junio de 1807 entre el ejército dirigido por Napoleón y el ruso del general Bennigsen, Brayer contribuyó muy eficazmente al éxito de la batalla. En Friedland resultó gravemente herido. Brayer mandaba el 2º regimiento de caballería ligera del Cuerpo de reserva del mariscal Lannes, resultando herido el día 14 de junio.

Incorporado en 1808 al Ejército que invade España, lo hace en la 1ª división del 2º Cuerpo, tomando parte muy destacada el 10 de noviembre de 1808 en la batalla de Gamonal (también denominada de Burgos). El 19 de noviembre, en San Vicente de la Barquera (Cantabria) derrotó a los españoles, causándoles muchos muertos y más de 1.000 prisioneros.

El 26 de marzo de 1809 asciende a general de brigada. Durante las acciones de Portugal, se muestra especialmente activo en el asedio de la plaza de Oporto y el 19 de septiembre pasa al 3^er Cuerpo al mando del general Suchet. El 19 de noviembre vuelve a destacar durante la batalla de Ocaña, y a continuación en muchas de las acciones que ocupan al Ejercito francés por Sierra Morena, especialmente ocupándose de la seguridad por el paso de Despeñaperros tan esencial en el tránsito a las operaciones de Andalucía. A finales de diciembre se ocupa de la lucha contra los guerrilleros españoles en las estribaciones de los Pirineos. Durante las campañas de 1810 y 1811 vuelve a las órdenes de Duchet y lucha en tierras de Aragón y Cataluña. El 9 de marzo de 1810 es elevado a la nobleza imperial, como Barón, y durante los meses de abril y mayo toma parte en el sitio de la plaza de Lérida. El 17 de julio vale vencedor en la acción de Daroca, y el 18 de agosto, Napoleón le nombra Comendador de la Legión de Honor. El 5 de agosto durante el combate de Villagarcía, Brayer al frente del 2º Cuerpo, ve como sus hombres cargan a la bayoneta sobre 5.000 españoles, apoderándose de las ventajosas posiciones que estos tenían sobre aquella meseta.

Después de la batalla de Gebora y el asedio de Badajoz, Brayer fue premiado con una recompensa por su conducta durante la batalla de Albuhera, donde asaltó a la bayoneta aquella posición tan ventajosa de los británicos, y en la que un proyectil de fusilería le rompe la pierna izquierda. Aprovecha su inmovilidad para trasladarse a Francia y realizar la convalecencia en su domicilio familiar, solicitando el retiro el 29 de noviembre de 1811. Sin mayor actividad que la social durante bastante tiempo, el 3 de abril de 1813 solicita la vuelta al servicio activo, incorporándose el día 10 al Ejército en Mállense, desde partirá esta vez destinado al frente alemán, tomando el mando de la 2ª brigada de la 9ª divisón a cargo del general Delmas, integrado por tanto en el 3^er Cuerpo que dirige el mariscal Ney. El 25 de mayo toma un puente durante la batalla de Butzlau, haciéndolo bajo intenso fuego enemigo. Nuevamente resulta herido durante la acción del 26 de agosto en Katzbach, durante la batalla de Dresde, y el 31 de agosto asciende al grado de general de división, y el 5 de octubre pasa a la 2ª brigada de la 11ª división, mandada por el general Ricard, del 3^er Cuerpo en Alemania, a las órdenes del mariscal Souham. El 18 de octubre está nuevamente en el campo de batalla en Leipzig, donde el día 19 sufre una nueva laceración por proyectil de fusil en su muslo izquierdo, que acaba matando a su caballo. Herida limpia le permite estar al día siguiente sobre su nuevo caballo, pasando el 5 de noviembre a integrarse en el 4º Cuerpo. El 20 de enero de 1814 toma el mando de la 15ª brigada de la Guardia Nacional en Soissons, con la que toma parte el 4 de febrero en las sucesivas acciones de Châlons, Montmirail, La Ferté, Bar-sur-Seine.

Durante la Restauración, Brayer no ocupó cargo alguno hasta el 15 de enero de 1815 en que se hizo cargo de la comandancia de una Subdivisión en Lyon. Pocas semanas después, Bonaparte inició el retorno de la isla de Elba, y durante la marcha que este estaba haciendo desde Grenoble a Lyón, recibió por el camino importantes informes sobre la situación del país, que le sirvieron a Napoleón para entrar el día 10 de marzo en Lyon sin disparar un solo tiro, debido a que Brayer controlaba la ciudad, y el 8 de julio fue nombrado Caballero de Saint Louis. Durante el gobierno de los Cien días, Brayer fue puesto al mando de una división de la Joven Guardia, en Angers.Napoleón lo nombró su Chambelán y gobernador de Versalles y Trianon, así como Par de Francia y Conde del Imperio.

Durante el retorno de Louis XVIII, en cumplimiento de la ordenanza de 24 de julio de 1815, Brayer fue uno de los inscriptos en la lista de Proscritos, y fue condenado a la pena capital, por el Consejo de Guerra de la 1ª División de París. No fue apresado por haber logrado huir a Bélgica y Prusia, marchando desde allí a los Estados Unidos de Norteamérica. En diciembre de 1816 tuvo conversaciones con miembros de la independencia de Chile, participando en la preparación de planes de los patriotas chilenos contra el gobierno de España, por lo que en febrero de 1817 llegó a Buenos Aires. En 1821, tras haber fallecido Napoleón, volvió a Francia y solicito la ofrecida amnistía, siéndole admitida y concedida la jubilación de que era acreedor, aunque desde el 4 de agosto de 1830, se le puso al mando de la 5º División, con cuartel general en Strasbourg. En 1830 Louis Philippe le nombró Gran Oficial de la Legión de Honor y le confirmó como Par de Francia, título que durante el gobierno de los Cien Días le había conferido Napoleón. Durante los años 1833 a 1835 ostentó el cargo de Inspector general de Infantería. Cuando dejó el mando en Strasbourg fue objeto de un homenaje durante el cual la ciudad le entregó una espada de honor. El 31 de septiembre de 1835 recibió la Gran Cruz de la Legión de Honor. Desde el año 1836, retirado de su actividad política y militar pasó a residir en París, donde ansiosamente esperaba la llegada de los restos del Emperador, aunque esa dicha no la logró, falleciendo el 28 de noviembre de 1840, precisamente unos días antes de que el féretro de Bonaparte llegase a Cherbourg a bordo de la fragata “Belle Poule”.

Hallándose ya Napoleón retenido en la isla de Santa Helena, Brayer fue uno de los jefes que intentaron llevar a cabo su liberación y traslado a lugar seguro, en Pernambuco, razón por la que Bonaparte agradecido, le incluyo con una importante participación en su herencia.

Su nombre figura en el lado Oeste del parisino Arco del Triunfo.