В 1812 году владелец замка Доминик Иероним Радзивилл (11-й несвижский ординат)
выступил на стороне французской армии во главе 27-го уланского полка. После присоеденения к Наполеону Доминик Радзивилл больше никогда не был в Несвиже. После отступления Наполеона Адам Чарторыйский предлагал Доминику вернуться в Россию и покаяться перед императором, но он отказался. 11 ноября 1813 года он умер после смертельного ранения в бою.

Только в 1860-х гг. замок вернулся к Радзивиллам
После чего началось его расширение и строительство собственно комплекса: Замковый парк, Старый парк, Японский сад, Новый парк, Английский парк. Общая площадь всего комплекса к 1939 году составляла около 90 гектаров.