Першапачаткова на месцы Брэсцкага замка размяшчалася гарадзішча. Размяшчэнне было надзвычай выгадным з пункту гледжання ваеннай абароны - на высокім мысе, там, дзе рака Мухавец ўпадае ў Заходні Буг. Нядзіўна, што неўзабаве на месцы гарадзішча вырас замак трохкутнай формы памерамі 234 х 187 х 234, які адлучаецца з поўдня дугападобным ровам ад усёй астатняй прылеглай тэрыторыі. У сярэдзіне Хііістагоддзя абарончыя збудаванні Брэсцкага замка былі ўмацаваныя каменнай вежай, якая прастаяла аж да пачатку ХІХ стагоддзя.
З-за свайго выгаднага месцазнаходжання Брэсцкі замак часта апыняўся ў гушчы палітычных і ваенных падзей. Вядома, што пасля таго як у 1282 годзе Брэсцкі ваявода Ціт адбіў чарговы напад Мазаўшан, Брэсцкі замак трапіў у доўгую чараду ваенных сутыкненняў паміж літоўскімі князямі і польскімі каралямі. Да сярэдзіны XIV стагоддзя Брэст пачынаюць турбаваць крыжакі, якія ў 1334 годзе ненадоўга авалодалі замкам. У 1337-ым годзе Брэст пераходзіць да князя Кейстута, затым у 1348-ым ён адыходзіць да палякаў і толькі ў 1366-ым годзе, пасля таго як Кейстут зноў яго вярнуў, горад канчаткова замацоўваецца за літоўскімі князямі.
У снежні 1409 года ў замку прайшла таемная сустрэча вялікага князя літоўскага Вітаўта і польскага караля Ягайлы. Менавіта там быў распрацаваны план Грунвальдскай бітвы. Усяго ж з 1446 па 1569 год замак сямнаццаць разоў станавіўся месцам правядзення дзяржаўных соймаў Вялікага Княства Літоўскага. Акрамя таго, у ім рэгулярна праводзіліся сходы мясцовай шляхты і пасяджэнні суда.
Дэталёвых апісанняў Брэсцкага замка да нашых дзён не дайшло, з апісанняў староства Берасцейскага ў 1566-ым годзе вядома толькі тое, што ў замка было пяць вежаў і брама. У вежы, якая стаяла з боку ракі Мухавец, мелася кругавое бланкаванне, а ў старой браме «з ганкам на версе» вісеў ратны звон – «Звон вялікі». У цэйхгаўзе было металічных даспехаў на 100 чалавек, адна марціра, 12 гармат, 96 гакаўніц, 7 жалезных «Кіеў», 360 жалезных ядраў, балты для арбалетаў і іншае. За зброяй і абарончымі збудаваннямі прыглядалі спецыяльныя слугі і замкавыя рамеснікі: Пушкар, цясляр, каваль, платнер, муляр.
У гэтых жа апісаннях паказваецца аб наяўнасці спецыяльнай помпы для схаванай падачы вады па трубах у Брэсцкі замак. Вадзяныя помпы прыводзіліся ў дзеянні вялікім колам вадзянога Млына. З яго дапамогай магла працаваць, і механічная ступа для штурхання пораху. За абслугоўванне вадзяной помпы Брэсцкага замка сачыў спецыяльны майстар-рурмістр.
У мірны час на замак вылучалася штодня па 12 вартаўнікоў і па 12 клікуноў. Абарона замка і горада ляжала на плячах мяшчан і жыхароў воласці. У ваенны час у замку размяшчаўся дадатковы кантынгент войскаў. Так падчас Лівонскай вайны ў ліпені 1566-га года тут знаходзілася рота ў складзе 600 коннікаў.
Агульную сістэму абароны Брэста на шэрагу з замкам дапаўнялі і гарадскія ўмацаванні. Асноўная частка гарадскіх кварталаў знаходзілася насупраць замка і размяшчалася на астравах, абгінаемых двума воднымі рукавамі ракі Мухавец. Горад быў абнесены земляным валам з парканам, якія стаяць на ім. З усходняга боку, перад валам, меўся роў, запоўнены вадой. Гэтая лінія абароны мела як мінімум чацвёра варот. Перад кожнай брамай быў мост.
З сярэдзіны X стагоддзя, з-за частых войнаў, замак часта разбуралі і не паспявалі дабудоўваць у прамежках паміж войнамі. І да пачатку будаўніцтва Брэсцкай крэпасці ў 1833 годзе рэшткі замкавых умацаванняў канчаткова знішчаюць, а на іх месцы ўзводзяць Валынскае ўмацаванне.