Архитектор строительства неизвестен.
Сохранившийся проектный план дворца (центрального сооружения) иногда приписывают Джованни Бернардони однако иезуитский архитектор специализировался только на культовых сооружениях и не строил замки. Кроме того, Бернардони прибыл в Несвиж через три или четыре года после начала строительства. Поэтому в современной историографии Бернардони не считается наиболее вероятным проектировщиком и руководителем строительства; вместо него называют инженеров из окружения короля Стефана Батория.

К началу русско-польской войны 1654—1667 годов в замке располагалось 28 пушек
Два из четырёх орудий калибра 20-24 фунта (лучшие пушки в замке) были расположены на западном бастионе и прикрывали это самое опасное направление. Их главной задачей было уничтожение артиллерии противника, в то время как для поражения живой силы наступающих войск предназначались небольшие орудия (фальконеты калибром 1-4 фунта). Большая часть пушек была отлита в самом замке, некоторые привозились из других крепостей

Во время войны 1654—1667 годов замок выдержал две осады русских войск, в 1654 и 1659 годах
Во время первого взятия города российские войска штурмовали и замок, но безуспешно. Тем не менее, дворцово-замковому комплексу был нанесён большой урон. Ещё в 1658 году многие комнаты на верхних этажах дворца оставались повреждёнными, а на восстановление замковых валов Радзивиллами выделялись крупные суммы. Вскоре, однако, российские войска вновь захватили город и штурмовали замок, но снова не сумели его взять.

К 1660-м годам относят усиление укреплений замка в духе староголландской фортификационной
школы по наработкам архитектора и военного инженера Теофила Спиновского, хотя его первоначальный проект был реализован не в Несвиже, а в Слуцке. Предполагается, что именно в этот период появились новые треугольные бастионы, которые ещё отсутствуют на гравюре Томаша Маковского начала XVII века

В 1706 году во время Северной войны город и замок стали целью Карла XII
который намеревался разорить владения всех магнатов, поддерживавших Августа II. Для захвата Несвижа были посланы три батальона драгун под командованием подполковника Юхана Траутветера и майора Спенса. Перед этим отряд Траутветера занял Негневичи, Кореличи и Мир. В городе в это время стояли 2000 казаков полковника Михаила Миклашевского (писатель и краевед XIX века Владислав Сырокомля называет его Михаловичем)