Frijsenborg har rod i den gamle hovedgård, Jernit, der i middelalderen lå på det sted, hvor slottet nu ligger.

I 1500-tallet var Jernit krongods, og efter en række skiftende ejere blev hovedgården i 1665 erhvervet af greve Mogens Frijs, hvis familie det tilhører endnu. Ved sammenlægning af en række gårde oprettedes i 1672 grevskabet Frijsenborg.

Grevskabet var i 1700-tallet et af de største i Danmark og strakte sig over 4 amter med et areal på 450 kvm, hvortil der hørte 42 kirker.

Det første Frijsenborg slot blev bygget i 1693, og på fundamenterne heraf blev det ombygget til sin nuværende skikkelse i 1860-66 i nyrenæsance stil. Arkitekten var Ferdinand Meldal.

Bygherren af dette nye Frijsenborg var greve og konseilspræsident Christian Emil Krag-Juel-Vind-Frijs. Han var en af datidens førende politikere. Han var konseilspræsident i årene 1865-70 og samtidig udenrigsminister.

Christian Emil var gift med Thyra von Haffner og parret fik 4 børn:

Comtesse Henriette, der i 1867 blev gift med lensgreve Christian Danneskiold-Samsø.

Comtesse Clara, der gennem sit giftermål med baron Frederik Blixen-Finecke fik sønnen Bror Blixen-Finecke og dermed blev svigermor til forfatteren Karen Blixen.

Comtesse Agnes, der døde ugift i en alder af 19 år. Der er oprettet en stiftelse i hendes navn, hvorfra der uddeles midler hvert år efter bestemte regler om tilhørsforhold til Frijsenborg.

Greve Mogens, gift med Fritze Danneskiold-Samsø, der var en ivrig jæger og en dygtig maler.

Efter Christian Emils død i 1896, overtog greve Mogens Frijs Frijsenborg.

Han fik herefter anlagt parken på ca. 10 ha, forestået af den engelske landskabsgartner H.E. Milner, der også anlagde parken på Wedellsborg.

Greve Mogens’ ældste datter, Inger, blev i 1907 gift med lensgreve Julius Wedell til Wedellsborg, og ved faderens død i 1923 arvede hun Frijsenborg, hvilket ifølge Lensafløsningsloven af 1919 blev muligt. Loven betød samtidig, at Lensgrevetitlen skulle bortfalde efter 3. generation. Det betyder, at den nuværende ejer, lensgreve Bendt Wedell, bliver den sidste lensgreve på Frijsenborg og Wedellsborg.

Inger og Julius Wedells eneste arving, sønnen lensgreve Tido Wedell, overtog i 1958 og 1959 driften af Wedellsborg og Frijsenborg. Han giftede sig i 1958 – 50 år gammel – med baronesse Irene Raben-Levetzau og fik efter 17 års ægteskab tvillingerne Bendt og Christiane i 1975. Siden faderens død i 1982 har lensgreve Bendt Wedell været ejer af Frijsenborg og Wedellsborg.