Старэйшы сын Альгерда ад першай жонкі Марыі Віцебскай, Вігунд, нарадзіўся ў 1325 годзе. Свой першы горад на княжанне, ён атрымаў ад бацькі. У 1342 годзе Пскоў, шукаючы абарону ад свайго моцнага ворага, Лівонскага ордэна, уступіў пад заступніцтва Альгерда. Альгерд пасадзіў у Пскове свайго старэйшага сына Вігунда, які потым хрысціўся ў Пскове і атрымаў імя Андрэй. Аднак Андрэй Альгердавіч вярнуўся ў Літву, атрымаўшы ад бацькі Полацак, а ў Пскове пакінуў свайго намесніка.
У 1377 годзе памірае вялікі князь літоўскі Альгрэд, і па праве, пасад у ВКЛ павінен быў заняць Андрэй Альгердавіч, бо ён самы старэйшы сярод сваіх братоў. Аднак, не вядома па якіх прычынах, Альгерд прызначыў вялікім князем літоўскім свайго старэйшага сына ад другой жонкі Ульяны, Ягайлы.
Ад новага вялікага князя да Андрэя Альгердавіча ў княжанне дасталіся Полацкае і Трубчэўскае княства. Гэтага было мала, ды і князь Андрэй быў не згодзен з рашэннем свайго бацькі, бо лічыў, што Альгерда або падманулі, або падрабілі завяшчанне аб прызначэнні вялікім князем літоўскім Ягайлам. Яго прэтэнзіі былі цалкам абгрунтаваныя, бо Альгерд памёр ва ўзросце 83 гадоў, і давяраючы сваім набліжаным, ён мог падпісаць завяшчанне, не чытаючы яго. На момант смерці Альгерда, побач з ім знаходзілася яго другая жонка Ульяна, якая была вельмі зацікаўлена, каб пасад дастаўся яе сыну Ягайлу.
Андрэй Альгердавіч не захацеў саступаць уладу Ягайлу і выступіў супраць яго са зброяй, але не атрымаўшы падтрымкі ў літоўскіх князёў, вымушаны быў бегчы ў Пскоў, пасля таго як, Ягайла з Кейстутам аблажылі Полацак. Далей, князь Андрэй едзе да маскоўскага князя Дзмітрыя Іванавіча, каб атрымаць згоду на княжанне ў Пскове, куды яго запрасілі Псаковічы. Дзмітрый Іванавіч згаджаецца, а князь Андрэй прысягае яму на вернасць.
На новай службе, у 1379 годзе, ён адбівае ў ВКЛ Старадуб і Трубчэўск і пераконвае свайго брата Дзмітрыя Альгердавіча, перайсці на службу да маскоўскага князя. У наступным 1380, разам з пскоўскімі палкамі, князь Андрэй Полацкі ўдзельнічае ў Кулікоўскай бітве на баку Маскоўскіх войскаў.
Праслужыўшы на Маскоўскага князя некалькі гадоў, ён вырашае вярнуцца на радзіму ў Літву, дзе адбірае ў Скіргайлы Альгердавіча Полацак, але неўзабаве, у 1386 годзе ён будзе схоплены Скрыгайлам, які заключыць яго ў польскі Хенцынскі замак. У зняволенні князь Андрэй Полацкі прабудзе да сваіх уцёкаў у 1393 годзе.
Вярнуўшыся ў вялікае княства літоўскае, князь Андрэй Полацкі паступае на службу Вітаўту, з якім адпраўляецца ў паход на Татараў, і ў 1399 годзе гіне ў бітве пры Воркслі.
