Slottet har tilhørt Margrethe I og slotsruinen henlægger i dag smukt omgivet af den gamle voldgrav. Det første Trøjborg blev bygget i 13-tallet. I 1407 købte Dronning Margrethe I Trøjborg af slægten Limbek i bestræbelserne på at indlemme Sønderjylland i Danmark.
I 1566 blev Trøjborg bestyret af Daniel Rantzau, hvis bror Peter Rantzau fik Trøjborg til ejendom for sin indsats mod svenskerne. Han rev den gamle borg ned og opførte i stedet et renæssanceslot på den udvidede holm. I 1740-erne blev slottes stil ændret til barokken. Slottet havde mange forskellige ejere, deriblandt Gerhard Holst (1777-1829), hvor jorden til Trøjborg udgjorde 332 tdr. land.
I 1851 købte K.L. Knudsen (fra Forballum) Trøjborg. Han tilbød at forære slottet til staten med henblik på oprettelse af et dansk seminarium, men da disse planer ikke blev realiseret, blev slottet revet ned i 1854. Dele af sydmuren og kælderen er bevaret, fordi broen over voldgraven styrtede sammen under nedrivningen. Mange gårde i Trøjborgs omegn er bygget af sten fra Trøjborg.