Мірскі замак з'яўляецца класічным прадстаўніком тыпу «Кастэль». Яго будаўніцтва ў гатычным стылі было пачата маршалкам надворным Юрыем Ільінічам у 20-я гады XVI стагоддзя. Замак павінен быў стаць радавой рэзідэнцыяй, наяўнасць якой дапамагло б атрымаць графскі тытул. Была і яшчэ адна прычына будаўніцтва: частыя татарскія набегі і магнацкія міжусобіцы вельмі ўскладнялі жыццё, патрэбна была крэпасць.
У будаўнічым плане Мірскі замак меў форму няправільнага чатырохвугольніка памерам 60 x 60 метраў. Сцены таўшчынёй 2,5 метра і вышынёй да 13 метраў, а з вонкавага боку выступалі пятиярусные вежы па кутах і адна вежа-вароты ў заходняй сцяне. Паўднёвая і Заходняя бакі завяршаліся баявой галерэяй. Да ўсходняй сцяны быў прыбудаваны палац, а да Паўночнай - арсенал. Паўночны і ўсходні бакі ўнізе мелі байніцы для мушкетнага агню, а наверсе размяшчалася палацавая частка. Каля вежы, у якой размяшчаліся вароты, на сценах былі зробленыя машикули (навясныя байніцы, яны звычайна знаходзіліся ў верхняй частцы вежаў і прыгонных сцен) для кідання камянёў і ліцця кіпеню ці гарачай смалы на ворага.
Вежы мелі форму васьмікутніка, які стаяў на чатырохкутніку. Дадзены стыль абарончай архітэктуры быў папулярны ў Еўропе ў XV – XVI стст.Для большай мастацкай выразнасці вежы пераходзілі ад адной формы да іншай на рознай вышыні, а дахі, пакрытыя пляскатай чарапіцай, мелі прыгожую выцягнутую гатычную форму. Разлік пры пабудове быў дакладны, пры такім размяшчэнні вежаў можна было весці не толькі франтальны, але і флангавы агонь, а акрамя таго, яны ўяўлялі сабой аўтаномныя баявыя вузлы з байніцамі з усіх бакоў для кругавога абстрэлу на выпадак, калі вораг прарвецца ў замак.
Паўночна-заходняя і паўночна-ўсходняя вежы мелі памер 10 х 10 метраў, на кожным ярусе ў іх было ад шасці да васьмі байніц. У паўднёва-заходняй і паўднёва-ўсходняй вежаў памер у плане складаў 12 х 12 метраў, дадаткова іх планавалі выкарыстоўваць як жылыя памяшканні і таму ўмацавалі ў верхняй частцы машыкулямі. На ніжніх ярусах перакрыцця былі каменныя, а на верхніх выкарыстоўвалі дрэва. Заходнія вежы замка, у адрозненні ад астатніх, размяшчаліся адзін да аднаго блізка, што з абарончага пункту гледжання не вельмі зручна, паколькі зніжаецца кут абстрэлу і непасрэдна пагаршаецца сам агляд.
Таўшчыня сцен вежаў Мірскага замка была ад 1,5 да 3 метраў. Унутры кожнай з іх кругавыя лесвіцы ішлі да самага верху, толькі толькі ў вежы-браме кругавая лесвіца даходзіла да 3 яруса.
У лепшым стане да нашых часоў захавалася паўднёва-заходняя вежа. Першы, чацвёрты і пяты паверх яе прызначаўся для стралкоў ручной зброі, пра гэта сведчыць форма байніц. На першым паверсе іх сем, на чацвёртым – чатыры, на пятым – восем. Другі паверх першапачаткова быў прызначаны і для стралкоў ручной зброі, але потым быў перароблены для ўстаноўкі цяжкіх гаўбіц і гармат-фоглеров. Прыкметна адрозніваецца ад усіх астатніх трэці ярус. Ён значна вышэй і мае тры вялікія байніцы для гармат, з іх было лепш цэліцца на далёкія адлегласці і праветрываць ярус ад дыму пасля гарматных стрэлаў.
Форму паўднёва-заходняй вежы Мірскага замка вызначае спецыфіка выкарыстання зброі на кожным ярусе. Паколькі трэці быў прызначаны для стральбы з гармат, у яго, зразумела, былі вялікія байніцы. Менавіта таму, да гэтага ўзроўню, вежа мае чатырохкутную форму, затым яна пераходзіць у васьмікутнік. Такі пераход дазваляў павялічыць сектар абстрэлу і, больш за тое, выключыць "сляпыя", непрыкрытыя зоны абароны. На паўднёва-заходнюю падобныя і дзве іншыя вежы паўднёва-ўсходняя і Паўночна-Заходняя.
Чацвёртая кутняя паўночна-ўсходняя вежа значна адрозніваецца ад трох іншых. Тут пераход ад чатырохвугольніка да васьмікутнік адбываецца ўжо на ўзроўні трэцяга яруса, і байніцы ў ёй самой невялікія, што дазваляе зрабіць наступную выснову: гэтая вежа прызначалася толькі для вядзення агню з ручной зброі. Акрамя таго, яна значна дэкараваная ў параўнанні з астатнімі, таму яе, верагодна, выкарыстоўвалі і для жылля.
Вежа-вароты па форме і афармленні нагадвае паўночна-ўсходнюю вежу, яе памеры 12 х 12 метраў. Першы ярус-вароты, на другім размяшчалася капліца, усе астатнія прызначаліся для абароны і мелі байніцы для стралкоў ручной зброі. Пераход ад четрыехугольной формы да восмиугольной тут адбываецца на трэцім ярусе.
У 1568-ым годзе ад збяднелага роду Ільінічаў Мірскі замак перайшоў ва ўладанні да Мікалая Хрыстафора Радзівіла Сіроткі. Па загадзе Радзівіла замак быў перароблены ў загарадную рэзедэнцыю італьянскага тыпу. Вакол замка ўзвялі земляныя бастыёны, якія акружаў выкапаны роў з перакінутым праз яго мостам на паўночным баку. Менавіта ў гэты перыяд прыбудоўваюць да паўночнай і ўсходняй сцяне палац у рэнесансам стылі, а на сценах з'яўляюцца баявыя галерэі і прабіваюцца дадатковыя адтуліны для вокнаў. На поўначы ад бастыённых умацаванняў закладваюць рэгулярны парк у італьянскім стылі, а на ўсходзе - фальварак і замкавы агарод. Да вежы-брамы прыбудоўваюць паўкруглае перадбрам'е, а над капліцай ўстаўляюць гадзіннік з званамі .
За час свайго існавання Мірскі замак не раз падвяргаўся штурмам і аблогам. У 1655 і 1706 годзе ён значна пацярпеў ад нападу шведскіх войскаў. У 1792 годзе быў захоплены расійскім войскамі пад камандаваннем А.У. Суворава. Але найбольшыя разбурэнні прынесла Вайна 1812 года, тады была падарваная паўночна-ўсходняя вежа, разбураны палац і пашкоджаны земляныя валы.