Віцебскі замак быў пабудаваны на левым беразе Дзвіны пры ўпадзенні ў яе ракі Віцьба. Ён складаўся з двух частак, верхняй і ніжняй, з агульнай даўжынёй 300 метраў і шырынёй 150 метраў. Ва ўсходняй частцы на гары (вышынёй прыблізна 15 метраў і роўнай пляцоўкай наверсе памерам у 0.7 га) размяшчаўся Верхні замак. Гэтая частка Гары і была першапачаткова ўмацаваным цэнтрам Віцебска, дзе ў VI-IX стст. размяшчалася гарадзішча крывічоў, а ў X - першай Пал. XIV стст. на дадзеным месцы быў заснаваны драўляны дзяцінец, каля якога на мысе, пры ўпадзенні Віцьбы ў Заходнюю Дзвіну, размяшчаўся вакольны горад.
У 1320 годзе Віцебск увайшоў у склад ВКЛ, перайшоўшы па спадчыне да Альгерда сына вялікага князя літоўскага Гедыміна, які быў жанаты з Марыяй Яраслаўнай, дачкой апошняга ўдзельнага князя Віцебска Яраслава. З гэтага моманту на Віцебскі замак была ўскладзена важная стратэгічная роля ва ўсходняй палітыцы ВКЛ, таму Альгерд загадаў пабудаваць каменныя ўмацаванні. Будаўніцтва пачалося ў 30-х гадах XIV стагоддзя і скончылася ў 1351-ым годзе ўжо пад кіраваннем другой жонкі Альгерда Ульяны Цвярской. Каменныя сцены будаваліся па перыметры старога дзяцінца і прылеглага горада, у выніку ўтварыўшы адзіную абарончую сістэму, якая складаецца з верхняга і Ніжняга замкаў.
Ніжняя частка сцен узводзілася з вялікіх камянёў-валуноў, а ўжо па-над імі вёўся цагляны мур як у Крэўскім і Лідскім замках. Сцены ўглыб сыходзілі ўсяго на 0.5 метра, аднак за кошт таўшчыні і ўнутранага драўлянага каркаса, які складаецца з сямі шэрагаў іглічных бярвення, запоўненай глінай, яны былі вельмі моцныя і ўстойлівыя. Заканчваліся сцены баявой галерэй з зубцамі і мелі агульную працягласць 688 метраў.
Аснову абарончых збудаванняў Віцебскага замка складалі восем каменных шмат'ярусных вежаў, у тым ліку: вялікія вароты з боку ніжняга замка, вароты, якія выходзілі на Дзвіну, і вароты - на Віцьбу. У плане трох-чатырох'ярусныя вежы былі 7 х 7 і 8,8 х 8,8 метраў з 3-х метровай таўшчынёй сцен у падставе. Усе яны выходзілі за сцены, што дазваляла весці франтальны і флангавы абстрэл па прылеглай тэрыторыі.
Нароўні з вежамі, якія ўваходзілі ў лінію замкавых сцен і прадстаўлялі сабой самастойныя абарончыя элементы, меліся дадатковыя выступы са сцен, якія звычайна не былі замкнёныя з унутранага боку і не перавышалі па вышыні замкавыя сцены. Гэтыя выступы не выконвалі самастойнай абарончай функцыі, а толькі толькі выкарыстоўваліся для дадатковай флангавых атакі па ворагам. У выніку Віцебскі замак уяўляў з сябе абарончую фартыфікацыю, па форме падобную на абрэзаную піраміду.
Нягледзячы на сваю моц, пабудаваныя ў сярэдзіне XIV стагоддзя каменныя ўмацаванні Віцебскага замка праіснавалі ў першапачатковым выглядзе нядоўга. На ўвазе свайго месцазнаходжання Віцебск часта падвяргаўся нападам, таму ўжо да канца стагоддзя яны былі моцна пашкоджаны падчас барацьбы за ўладу ў ВКЛ паміж Вітаўтам і Ягайлам. У 1437-ым годзе, падчас аблогі горада войскамі Вялікага князя літоўскага Жыгімонта Кейстутавіча, каменныя ўмацаванні Віцебскага замка былі зноў разбураны. Нягледзячы на лютае супраціўленне, гараджанам усё ж давялося прызнаць уладу Жыгімонта.
З-за частых разбурэнняў ужо да сярэдзіны XVI стагоддзя ад каменных умацаванняў засталася толькі адна разбураная сцяна і моцна пашкоджаная каменная вежа над Дзвіной, пра што кажа запіс у «Хроніцы літоўскай і Жамойцкай». Усё гэта прывяло да таго, што ў XVI-XVII стст. каменныя ўмацаванні паступова трансфармаваліся ў драўляныя, іх хутчэй было ўзводзіць. Гэта і дазволіла Пятру I падчас Паўночнай вайны пры адступленні спаліць замак.