Vilniaus miesto gynybinė siena buvo pradėta statyti 1503 m., kuomet buvo kilęs didelis totorių įsiveržimo pavojus, taip pat pavojų kėlė besikurianti centralizuota rusų valstybė. Tada miestiečiai kreipėsi į Lietuvos didįjį kunigaikštį Aleksandra su prašymu statyti gynybinę mūro sieną. Prašymas buvo patenkintas ir sienos statybos pradėtos. Sieną mūryti turėjo visi miesto gyventojai, nepriklausomai nuo luomo. Aleksandras pavedė Vilniaus vaivadai Mikalojui Radvilai Senajam apjoti miestą ir nužymėti, kur siena turi eiti ir kur turi būti išmūryti vartai. Sienos statyba užtruko gana ilgai, maždaug 20 metų. Ji buvo baigta 1522 m. Miesto sienos ilgis buvo 2,5 km. Ji turėjo dešimt vartų ir penkis bokštus.

XVII a. iškilus Maskvos ir švedų grėsmei vėl buvo susirūpinta miesto apsauga, todėl netoli Subačiaus vartų buvo pastatyta bastėja. Bastėja – originalios konstrukcijos renesansinis gynybinis įrenginys. Jį sudaro bokštas, įrengtas miesto gynybinėje sienoje, požeminės patrankų patalpos ir jas jungiantis koridorius, 48 m. ilgio tunelis. Jos paskirtis – artilerijos ugnimi atmušti priešą nuo miesto. Ji buvo apgriauta per 1655 – 1661 m. karą su Maskva.

Bėgant laikui baltėjos gynybinė reikšmė sumenko, XIX a. pradžioje carinės administracijos pastangomis buvo nugriauti beveik visi miesto gynybiniai įtvirtinimai, bastėjos teritorija virto miesto šiukšlynu, o grioviai ir mūrai buvo užpilti. Pirmojo ir Antrojo pasaulinių karų metais ji buvo naudojama kaip slėptuvė ir ginklų sandėlis.

Su bastėjos požemiais siejama legenda apie Vilniaus baziliską – slibiną, kurio žvilgsnis galėjo paversti žmogų į akmenį. Prieš Antrą pasaulinį karą buvo populiarios studentų karnavalinės eitynės su baziliko atvaizdu.

Bastėjos grioviai ir mūrai buvo atkasti 1965 – 1970 m. 1985 – 1986 m. bastėja pritaikyta muziejui ir 1987 m. čia atidaryta gynybinių įtvirtinimų ir ginklų ekspozicija, kurioje eksponuojama XV – XIX a. ginklai i ginkluotė: akmeniniai patankų sviediniai, senosios patrankos ir raitelių apsauginiai šarvai. Taip pat yra apžvalgos aikštelė, nuo kurios atsiveria Vilniaus senamiesčio panorama.