Лідскі замак пабудавалі на загад вялікага князя літоўскага Гедэміна ў 20-30 гадах XIV стагоддзя. Ён быў закладзены ў месцы зліцця рэк Каменкі і Лідзеі, на пясчаным насыпе вышынёй каля 5-ці метраў. Дадатковыя цяжкасці для ворагаў стваралі якія атачалі замак багністыя берага рэк. Акрамя таго, на паўночным баку быў выкапаны роў, шырынёй 20 метраў, ён аддзяляў Лідскі замак ад горада.
У плане замак уяўляў сабой Няправільны чатырохкутнік з бакамі 93,5 x 83,5 x 80 x 84 метраў з двума вежамі, размешчанымі па дыяганалі. Падмурак сцен быў зроблены з валуноў, выкладзеных гарызантальнымі радамі, цэгла па-над валуноў ўкладвалі згодна з Балтыйскай тэхналогіі. Вышыня сцен дасягала 12 метраў з таўшчынёй у ніжняй частцы два метры, уверсе 1,5 метра. Завяршаліся яны баявой галерэяй з брустверам таўшчынёй 0,7 метра. Памост галерэі абапіраўся на драўляныя бэлькі. Бескамерные байніцы, якія мелі ў плане форму падобную трапецыі, сваёй шырокай асновай былі павернутыя ў бок замкавага двара. Пры аднолькавай вышыні байніцы мелі тры варыянты шырыні і чаргаваліся ў сцяне праз кожныя 2,4 метра. Першапачаткова яны прызначаліся для стральбы з лукаў і арбалетаў, а позняй іх выкарыстоўвалі і пры абстрэле лёгкім агнястрэльнай зброяй.
Брама ў Лідскім замку знаходзілася ва ўсходняй сцяне, бліжэй да яе Паўночнага кута. Адны вароты былі паменш, вышынёй у 3 метра і шырынёй у 2,5 метра, другія вароты - пабольш, вышынёй 6 метраў і шырынёй 4,5 метра. Верхняя частка абодвух варот была выканана ў выглядзе аркі. Самыя вялікія мелі нішу выстой 2,5 метра, якая выходзіла за сцены, гэта сведчанне таго, што вароты мелі мост, предзамковая частка якога хутчэй за ўсё была пад'ёмнай.
Першая паўднёва-заходняя вежа Лідскага замка ў плане мае форму квадрата з даўжынёй сцен 11,3 x 11,3 метра. Другая вежа знаходзіцца па дыяганалі ў паўночна-ўсходнім вугле. План яе нагадвае трохі перакошаны прастакутнік з даўжынёй сцен 12 x 12,5 x 12,3 x 12,15 метраў. Вежа мела арачны ўваход з боку двара і лесвіцу шырынёй у 1 метр, убудаваную ў Заходнюю сцяну з драўлянымі прыступкамі.
Лідскі замак быў важным элементам у сістэме абароны ВКЛ ад крыжакоў. Пасля смерці князя Гедэміна ім валодаў яго сын князь Альгерд. З моманту падпісання Крэўскай уніі ён стаў забяспечваць адносіны паміж дзвюма сталіцамі, Вільняй і Кракавам. У гэтым замку ў прысутнасці ўплывовых асоб ВКЛ і Польшчы ў 1387-ым годзе адбывалася цырымонія прысягі Скіргайлы, як намесніка вялікага князя свайму брату Ягайлу. Тут жа Ягайла падпісваў важныя дакументы, звязаныя з хрышчэннем Літвы, а ў 1422 годзе святкаваў тут пасля шлюбу ў Вільні свой шлюб з Соф'яй Гальшанскай. У 15-16 стагоддзях замак працягваў заставацца адной з велікакняжацкіх рэзідэнцый і самым важным структурным элементам горада.
З-за свайго стратэгічнага месцазнаходжання Лідскі замак часта падвяргаўся нападам крыжакоў, асабліва часта крыжакі нападалі падчас міжусобнай вайны Вітаўта і Ягайлы за ўладу ў ВКЛ. Сваю стратэгічную і агульнадзяржаўную значнасць замак страціў на мяжы 16-17 стагоддзя. Пасля штурму і частковага разбурэння маскоўскімі войскамі ў 1659 годзе, а потым шведамі ў 1700 годзе, ён паступова пачаў ператварацца ў руіны.