Rūmai stovi Vilniaus senamiestyje, į pietus nuo Šv. Kazimiero bažnyčios, Didžiojoje gatvėje. Kitoje gatvės pusėje – vienas seniausių viešbučių sostinėje „Astorija“ (ankščiau „Italija“), šiuo metu pertvarkytas pagal europoje vyraujančius standartus.

1687 m. šioje vietoje buvo pirklio K. Staškevičiaus mūrinis pastatas. Yra žinoma, kad po 1748 m. gaisro namą atstatė A. Abramavičius.

1790 m. Abramavičienė nusipirko čia buvusius pastatus ir juos rekonstravo į simetrišką, trijų aukštų ankstyvojo klasicizmo pastatą, pagal architekto Martyno Knakfuso projektą.

Po Antrojo pasaulinio karo negandų čia veikė Juozo Tallat – Kelpšos aukštesnioji muzikos mokykla, vėliau pervadinta koncervatorija (veikia ir šiuo metu). Pastato šeiminkai keitėsi keletą kartų, keitėsi ir pastato išvaizda.

Pagrindinis pastato akcentas – keturios jonėninės kolonos su trikampio formos frontonu. Viduryje yra įvažiavimo arka, kuri puošta liūto galva.