Упершыню згадка пра мястэчка Быхаў зафіксавана 31 мая 1393 г у грамаце князя Дзмітрыя Сямёнавіча Друцкага. Горадам таксама валодалі князь Свідрыгайла, род Гаштольдаў. У 1542-ым годзе Быхаў пераходзіць да Хадкевічаў, а з 1625-га года ім сталі валодаць Сапегі.
Быхаў, як і іншыя гарады ВКЛ, першапачаткова меў драўляны замак. Будаўніцтва каменных умацаванняў замест драўляных у Быхаўскім замку і горадзе пачаў у 1590-ым годзе вялікі гетман літоўскі Ян Карл Хадкевіч. Затым будаўніцтва працягнулася пры Карле Хадкевічу і завяршылася пры Льве Сапегi, калі горад атрымаў магутную бастыённую фартыфікацыю. У выніку Быхаўскі замак і горад абараняў велічэзны 800-метровы вал з бастыёнамі, равелінамі (дапаможнае фартыфікацыйнае збудаванне, звычайна трохкутнай формы, якое змяшчалася перад прыгонным ровам паміж бастыёнамі) і ровам у выглядзе паўкола.
Быхаўскі замак, які з'яўляецца асноўным звяном у абароне горада, размяшчаўся на беразе ракі Днепр, і меў форму няправільнага прамавугольніка памерам 77 х 100 метраў. З усходу абараняўся Дняпром, а з астатніх трох бакоў - глыбокімі і шырокімі абарончымі равамі. З заходняга боку замка размяшчаліся тры каменныя вежы. Вежы былі двух'яруснымі, васьміграннымі з 7-8-ю байніцамі.
Тут жа, на захадзе, знаходзілася ўязная брама: двух'ярусная са скляпеністым перакрыццем, круглым купалам, на якім красаваўся флюгер з гербам Сапегаў. Двухстворкавыя вароты дадаткова абараняліся герсай і сістэмай жалезных завал.
Палац Быхаўскага замка размяшчаўся на супрацьлеглым баку ад брамы. У верхняй частцы палаца знаходзіліся пакоі і сталовая, а ўнізе - падвалы.
Сам горад меў абарончы вал вышынёй 7-8 метраў і шырынёй у падставе 30 метраў. Такіх жа памераў быў і абарончы роў. Уваход і выхад з горада ажыццяўляўся праз тры каменныя брамы. Адна, Падольная, вяла да берага Дняпра, Магілёўская размяшчалася на поўначы, а на поўдні знаходзілася Рагачоўская. Перад Магілёўскай і Рагачоўскай былі перакінутыя масты, у якіх апошнія звёны былі пад'ёмнымі.
Дадатковай абаронай Быхаўскага замка з'яўляўся мураваны касцёл. Ён размяшчаўся на подступах да замка з паўночнага боку, быў абнесены каменнай агароджай з невялікімі вежкамі па кутах. Акрамя гэтага, недалёка знаходзілася прыстасаваная да абароны сінагога. У плане яна была прамавугольнай з таўшчынёй сцен у два метры. Сінагога мела круглую вуглавую вежу, а таксама круглыя і прамавугольныя байніцы. Яна закрывала выхад з прылеглых вуліц паўночна-заходняй частцы горада і з'яўлялася дадатковым вузлом абароны на шляху наступаючых.
Быхаў з-за свайго стратэгічнага месцазнаходжання не раз падвяргаўся нападу ворагаў. У першы раз, у 1590 годзе, нізавым казакам Данскога гетмана Мацюшы Фёдаравіча ўдалося захапіць горад. А вось у 1648-ым годзе падчас паўстання Багдана Хмяльніцкага казакі і мясцовыя сяляне на чале з Ф.Гаркуша не змаглі ўзяць ні сам горад, ні яго замка.
Быхаў доўга абараняўся падчас вайны Масквы з Рэччу Паспалітай у 1654-1667 гадах. 18 месяцаў са жніўня 1654 года трымаў абарону ад аблажылі яго казакоў атамана Залатарэнкі і войскаў Трубяцкога. Гэтак працяглую і выматвальную аблогу вытрымаць не змог і быў вымушаны здацца і перайсці пад кантроль казакоў і.Нячая, так як атаман Залатарэнкі забілі ў ходзе аблогі. Аднак казачы правадыр Нячай неўзабаве змяніў маскоўскаму цару і ў другой палове 1658 года перайшоў на бок Рэчы Паспалітай. У выніку, Быхаўскі замак і горад зноў апынуліся ў аблозе з мая па снежань 1659-га года. І 4 снежня ў ходзе начнога штурму войскамі князя Лабанава-Растоўскага гораду прыйшлося здацца. Князю ўдалося схіліць да капітуляцыі каменданта замка немца Шульца. У ходзе аблогі горад і замак моцна пацярпелі, асабліва замак, дзе выбухнуў арсенал. Царскія войскі нядоўга прастаялі ў Быхаве, неўзабаве яны былі абложаныя войскамі Рэчы Паспалітай і ў 1661 годзе здаліся войску гетмана Чарнецкага.
У перыяд Паўночнай вайны Быхаўскі замак і горад двойчы падвяргаліся аблозе з боку войскаў Пятра I. У першы раз - у 1701 годзе, калі, з-за таго, што валодаў ім у той час Сапега якi перайшоў на бок Карла XII, расійскія войскі акружылі горад. Аблогай камандаваў генерал Сініцкі. Поспех нападнікаў шмат у чым быў забяспечаны тым фактам, што з Магілёва даставілі велічэзную гармату. Праз некаторы час генерал Сініцкі перайшоў на бок шведаў, зрабіўшы Быхаў сваёй галоўнай стаўкай. У выніку Пётр I адправіў да горада моцныя войскі пад камандаваннем сваіх чатырох генералаў і горад зноў апынуўся ў аблозе. Сініцкаму не ўдалося ўтрымаць Быхаў, і ён капітуляваў. Пасля захопу ў горадзе на працягу больш за сем гадоў прастаяў расійскі гарнізон, якім, пры сыходзе, брамы былі прыведзены ў непрыдатнасць, а бастыёны ўзарваны.
Пасля заканчэння Паўночнай вайны Сапегі праз час зноў аднавілі Быхаўскі замак. Аднак пасля падзелу Рэчы Паспалітай і ўваходжання тэрыторыі ВКЛ у Расійскую імперыю Быхаў страціў сваё стратэгічнае месцазнаходжанне, а яго ўмацаванні прыйшлі ў заняпад. Да нашых дзён ад аднаго з самых лепшых бастыёнаў Рэчы Паспалітай захаваўся толькі разбураны палац Сапегаў.