Federico, el primer hijo de Benito y Marie Madelene nació en El Limón en 1807. El propio Benito, en su correspondencia a la chancillería francesa, explica que en El Limón tan sólo estuvo dieciocho meses y también cita cómo la revuelta de los dominicanos, encabezada por Sánchez Ramírez, contra los franceses (en la cual Benito no tomó parte ni a favor ni en contra) y que se debió a la invasión de España por Napoleón, lo estimuló a pedir pasaporte para trasladarse a Curazao, desde donde se enteró de la rendición de los franceses en Santo Domingo. Los dominicanos fueron aliados de los franceses mientras estos combatían a los haitianos, pero devinieron en sus enemigos cuando invadieron la Madre Patria.
La resistencia de Sánchez Ramírez contra los franceses se inició en 1808, año en que tuvo lugar la batalla de Palo Hincado, en la que los dominicanos derrotaron a los franceses. Un escuadrón inglés de cinco buques fue enviado desde Jamaica y entró en la bahía de Samaná el 10 de noviembre de 1808 y allí capturó cinco barcos y, habiendo desembarcado los ingleses, destruyeron el fuerte de Santa Bárbara y tiraron los cañones desde la loma hasta la playa. Cuando el cónsul inglés Sir Boberto Shomburgk visitó Samaná en 1853, reportó que varios de esos cañones todavía estaban en la playa incrustados de arena e inmovilizados por el óxido.
El comandante francés no tuvo más opción que rendirse y los ingleses entregaron Samaná a las tropas de Sánchez Ramírez “bajo la condición de que los derechos de los habitantes franceses serían respetados y sus propiedades mantenidas”. En ese momento la población de Santa Bárbara era de un poco más de mil personas. Con la entrega de Samaná, los franceses sólo quedaron en posesión de la ciudad de Santo Domingo, permaneciendo allí hasta su rendición en julio de 1809.
Previo a esea rendición unos doscientos soldados dominicanos se refugiaron en Samaná con el propósito de exterminar a los colonos franceses, lo que pudo impedir Sánchez Ramírez. Eso debió haber estimulado a Benito Chassériau a abandonar la península. Todo lo anterior indica que Chassériau padre abandonó Samaná antes de julio de 1809, donde había llegado en 1807. En Curazao dice que se enteró de que sus propiedades habían sido confiscadas y los esclavos vendidos.