吉備の中山は、遠い昔まだこの地方が吉備の国と呼ばれていた頃、その中心にあったことがその名の由来とも伝えられています。この山に備前一宮の吉備津彦神社と備中一宮の吉備津神社(本殿拝殿・国宝)が寄り添うように鎮座していることからもこのことがうなづけます。
温暖な気候と肥沃な土地、この山裾に海が広がっていた時代には海運業の要所としても恵まれ、ここに住む人々は大きな力を持っていたと考えられます。吉備の中山には、最古の前方後円墳の一つといわれる矢藤治山古墳や、100mを超える大型前方後円墳の尾上車山古墳(国指定史跡)、中山茶臼山古墳(宮内庁管理地)があります。また後期古墳も、立派な石棺の残る石舟古墳などが山のあちこちにあります。このことはこの地方が非常に栄えていたことを物語っています。
大和の国にも対抗しうる大きな力を持った吉備の国は、後に備前、備中、備後さらには美作に分国されることになります。このとき備前と備中は、祭祀をする上で大切な吉備の中山を仲良く二つに分ける形で、この山の真ん中に国境を定めました。国境は南にある境目川から山にあがり、尾上車山古墳、中山茶臼山古墳を半分に分け、頂上の近くから北の峰に下る細谷川へと続いています。
吉備の中山は、古くから都でも有名な山でした。平安時代の古今集には「まがねふく吉備の中山帯にせる細谷川の音のさやけさ」、新古今集には「ときはなる吉備の中山おしなべてちとせを松の深き色かな」、その他いろいろな歌集に詠まれています。清少納言は、随筆『枕草子』の中で、「山は、小倉山。三笠山。‥‥。吉備の中山。嵐山。更級山。……。」と、都から遠い吉備の中山をあげています。
平安時代末期、平清盛を支えたのが備前の難波経遠、備中の妹尾兼康でした。平清盛の信頼が厚かった備前の難波氏は、鹿ヶ谷で平家追討の密議を謀った大納言藤原成親を吉備の中山で殺害します。このことが「平家物語」「源平盛衰記」などに出てきます。
鎌倉初期に源平合戦で消失した東大寺を復興した重源は、吉備津彦神社の近くに常行堂を建て、中に一丈六尺(丈六)(約5m)の阿弥陀像を祀りました。また山の西側、今の真如院の近くに庭瀬堂を建て、同じく丈六の阿弥陀像を奉安しました。現在は常行堂も庭瀬堂もありませんが、重源が開山した兵庫県小野市に残る浄土堂は、国宝で、快慶の作とされる丈六の阿弥陀像が輝いています。重源も吉備の中山に魅力を感じたのでしょう。
吉備の中山は、太古より神奈備山として、人々から崇められてきた山なのです。