Tårnet ble opprinnelig bygd som del av Kongsgården på Holmen, slik den ble utformet i siste halvdel av 1200-tallet. Kong Magnus Lagabøte var byggherre, konge 1260 – 80. Opprinnelig gikk sjøen helt opp til det sørvestre hjørnet i tårnet, og det dannet et solid forsvarstårn for Kongsgården, men også for å overvåke og beskytte innløpet til Vågen. Innvendig mener bygningsarkeologer at  både kongens kapell og private rom kan identifiseres. I det andre tiåret av 1500-tallet ble tårnet utstyrt med en forborg og vindebro mot byen. Det skjedde under ledelse av Kong Kristian 2.s høvedsmann Jørgen Hansson. Trolig har det også blitt foretatt innvendige ombyggingsarbeider i selve tårnet med blant annet nye etasjeskiller og forsterkninger slik at lettere kanoner kunne installeres. Under høvedsmannen Erik Rosenkrantz tid i Bergen, 1560 – 68, ble det bygd en ny etasje på tårnet, og murverkene i forborgen ble forhøyet slik at de dekket hele tårnets fasade mot øst og sør. Fasaden mot byen fikk nye vinduer og dekorative elementer som viser klare renessansetrekk. Det er Rosenkrantz’ omfattende ombyggingsarbeider som har gitt tårnet navn, men helt opp til 1900-tallet var det vanlig å kalle det Valkendorfstårnet, etter Rosenkrantz’ forgjenger Kristoffer Valkendorf. Restaureringen av tårnet ble påbegynt i 1840-årene, men dagens tårn er et resultat av restaureringsarbeidene etter at tårnet ble sterkt skadet ved eksplosjonsulykken 20. april 1944.

Dette utsnittet fra Scholeusstikket viser Rosenkrantztårnet slik det må ha stått ferdig etter Erik Rosenkrantz’ ombygging. Dagens tårn er i det ytre i hovedsak restaurert med stikket som forelegg.

GAE