Навагрудскі замак быў пабудаваны ў некалькі этапаў на месцы ранняга драўлянага дзядзінца (унутраная гарадская крэпасць), які стаяў на ўзвышшы. Будаўніцтва каменных вежаў і сцен пачалося ў канцы XIV стагоддзя па загадзе вялікага князя літоўскага Вітаўта для абароны ад крыжакоў. Канчатковы выгляд замак набыў у XVI стагоддзі.
Пад правадырствам Вялікага Магістра Конрада Валенрода крыжакі двойчы спрабавалі сарваць будаўніцтва замка, у 1391-ым і ў 1394-ым гадах. Спробы аднак праваліліся, і першы будаўнічы этап Навагрудскага замка, на працягу якога былі ўзведзены тры вежы з варотамі: шчытавая, Кастэльная і Малая, быў завершаны да пачатку XV стагоддзя.
Пяціярусная вежа-брама шчытавая мела квадратную форму з памерамі 11,4 Х 11,4 метра. Яна з'яўлялася галоўнай у сістэме абароны замка. Яе вароты з паўночнага боку зачыняліся пад'ёмным мостам доўгай каля 5-ці метраў. Шатровы дах быў пакрыты керамічнай чарапіцай. Верхнія ярусы Шчытавай вежы былі прыстасаваныя пад жылыя памяшканні вялікакняскага намесніка і ацяпляліся глінянымі печамі.
Трох'ярусная кастэльная вежа, усходні кірунак, у плане таксама была квадратнай формы з памерамі 9 х 9 метраў. Крыху далей ад Кастэльнай знаходзілася Малая вежа, прамавугольнай формы 8 Х 10 метраў. Праязны праём у ёй меў шырыню 1,6 метра і вышыню 3 метра. Перакрыцце першага яруса Малой вежы было зроблена ў выглядзе гатычнага перакрыжаванага скляпення, на астатніх ярусах перакрыцця былі з драўляных бэлек. На другі ярус можна было трапіць па знешняй прыстаўной лесвіцы, якая прыбіралася пры нападзе ворагаў на Навагрудскі замак. Па сваёй функцыянальнасці Малая вежа па сутнасці з'яўлялася бергфрыдам.
З - за пагрозы набегаў крымскіх татараў у канцы XV-пачатку XVI стагоддзя Навагрудскі замак быў цалкам адрамантаваны і дадаткова ўзмоцнены на паўночным захадзе Замкавай гары самай высокай вежай, названай дазорная. У аснове яна мела памеры 14х14 метраў і пераходзіла ў васьмігранную форму на 4-ым ярусе. Адначасова, паміж гэтай вежай і Пасадскай вежай,якая мела памеры 7,7х7, 7 метраў, была пабудавана каменная сцяна. У выніку замак па ўсім перыметры апынуўся абнесены сценамі вышынёй 8 метраў і таўшчынёй 2 метры. У гэты ж час, у пачатку XVI стагоддзя, была пабудавана Меская вежа, якая злучылася сценамі з Малой і калодзежнай вежамі. У выніку атрымаўся своеасаблівы форбург, які служыў абаронай для ўваходу ў замак з боку горада. Усе вежы, акрамя дазорнай, выступалі за знешнюю лінію сцен, што дазваляла весці як франтальны агонь, так і фланкіруючых абстрэл прылеглай тэрыторыі.
У якасці дадатковай абароны вакол Навагрудскага замка, разам з каменнымі сценамі і вежамі, у канцы XIV - пачатку XV стагоддзя быў узведзены абарончы вал вышынёй 2,1 метра, а паміж валам і падэшвай Замкавай гары знаходзіўся роў даўжынёй 13-15 метраў. У канцы XV-пачатку XVI стагоддзяў вышыня вала павялічылася да 3,5 метраў, а шырыня рова да 20 метраў.
Упершыню Навагрудскі замак сур'ёзна пацярпеў падчас вайны Рэчы Паспалітай з Маскоўскім княствам у перыяд з 1654 па 1667 год, ад маскоўскіх войскаў пад камандаваннем князя Івана Хаванскага. Тады і сцены, і вежы (Калодзежная, Пасадская, Малая і Меская) былі моцна разбураныя. А ў 1706 годзе падчас Паўночнай вайны шведы амаль зраўнялі замак з зямлёй.