Awal mula Gelar kaisar digunakan kembali
Ketika kekuatan Romawi lama di Gaul (Gallia) menurun selama abad ke-5, suku-suku Germanic menjadi penguasa diwilayah tersebut. Pada akhir abad ke-5 dan awal abad ke-6, orang-orang dari Merovingian di bawah Clovis I dan penerusnya mengkonsolidasikan suku-suku Franka dan mempeluas hegemoni atas kaum lain untuk menguasai Gaul utara dan wilayah lembah sungai Rhine. Pada pertengahan abad ke 8, hegemoni Merovingians mulai berkurang, hal itu dikarenakan munculnya hegemoni Carolingians yang dipimpin oleh Charles Martel dan menjadi penguasa de facto diwilayah tersebut. Pada tahun 751, putra Martel, Pepin, menjadi Raja kaum Franka sekaligus memperoleh persetujuan dari Paus, kelak para Carolingians akan mempertahankan aliansi yang erat dengan Kepausan.

Penyerbuan Romawi

Pada tahun 768 putra Pepin, Charlemagne (Karel agung) menjadi Raja Frank menggantikan ayahnya dan memulai ekspansi ekstensif kerajaan. Dia berhasil menaklukan wilayah-wilayah Perancis masa kini, Jerman, Italia utara, dan seterusnya menghubungkan kerajaan Frank dengan tanah-tanah Kepausan. Pada Hari Natal tahun 800, Paus Leo III menobatkan Charlemagne menjadi kaisar agung, mengembalikan gelar ini untuk pertama kalinya sejak lebih dari tiga abad.

Charlemagne

Setelah Charlemagne meninggal pada tahun 814, mahkota kekaisaran diberikan kepada putranya, Louis the Pious. Setelah kematian Louis pada tahun 840, gelar kaisar diwariskan kepada putranya Lothair. Pada titik ini, wilayah yang pernah ditaklukan oleh Charlemagne dibagi menjadi beberapa wilayah, dan selama abad kesembilan, gelar Kaisar diperebutkan oleh para penguasa Carolingian dari Francia Barat dan Francia Timur , dengan masing-masing rajanya, yaitu raja barat ( Charles the Bald ) dan di bagian timur ( Charles the Fat ). Setelah kematian Charles the Fat pada tahun 888, Dinasty Carolingian pecah, dan tidak akan pernah pulih kembali. Menurut Regino dari Prüm, masing-masing wilayah dari kerajaan "menciptakan raja-raja", dan setiap bagian memilih seorang rajanya sendiri. Setelah kematian Charles the Fat, raja yang dimahkotai oleh Paus menjadi kaisar hanya menguasai wilayah di Italia. Kaisar terakhir adalah Berengar I dari Italia , yang meninggal pada 924.

Zaman Ottonian
Sekitar tahun 900an, kadipaten-kadipaten stem lama (Franconia, Bavaria, Swabia, Saxony, dan Lotharingia) muncul kembali di Francia Timur. Setelah raja Carolingian Louis the Child meninggal mendadak pada tahun 911, Francia Timur tidak berpaling kepada penguasa Carolingian di Francia barat baik untuk mengambil alih kerajaan maupun melebur didalamnya melainkan mereka memilih salah satu dari adipati, Conrad of Franconia, sebagai raja namun naas Conrad berumur pendek. Di ranjang kematiannya, Conrad menyerahkan mahkota kepada saingan utamanya, Henry the Fowler of Saxony (memerintah 919–36) sebagai raja yang terpilih di Fritzlar pada tahun 919. Henry kemudian melakukan penyerangan dan merampok orang-orang Magyars , dan pada tahun 933 ia memenangkan pertempuran pertama melawan mereka dalam Pertempuran Riade.

Otto I

Henry kemudian meninggal pada tahun 936 dan keturunannya, dinasti Liudolfing (atau Ottonian) akan terus memerintah kerajaan Timur selama kira-kira seabad kedepan. Setelah Henry mangkat, Otto putranya ditunjuk sebagai penerusnya dan terpilih sebagai Raja di Aachen pada tahun 936. Dimasa pemerintahannya, dia sukses mengatasi berbagai pemberontakan yang dikobarkan oleh saudaranya sendiri maupun dari para adipati-adipati yang juga memiliki klaim atas tahtanya, selain itu, dia juga berhasil mengontrol pengangkatan adipati dan juga mempekerjakan para uskup dalam urusan administratif.

Pada tahun 951, Otto pergi ke italia, membantu Adelaide, ratu janda Italia untuk mengalahkan musuh-musuhnya dan menikahinya sekaligus mengambil kendali atas Italia. Pada tahun 955, Otto memenangkan lagi pertempuran yang menentukan atas Magyars dalam Pertempuran Lechfeld. Pada tahun 962, Otto dimahkotai sebagai Kaisar oleh Paus John XII, sehingga terjalin hubungan kerajaan Jerman dengan orang-orang Italia dan Kepausan. Penobatan Otto sebagai Kaisar menandai raja-raja Jerman sebagai penerus Kekaisaran Charlemagne, yang melalui konsep translatio imperii , juga membuat mereka menganggap diri mereka sebagai penerus Roma Kuno.

Pada tahun 963, Otto mengganti Paus Yohanes XII dan memilih Paus Leo VIII sebagai paus baru (meskipun John XII dan Leo VIII keduanya sama-sama mengklaim tahta kepausan sampai tahun 964 ketika John XII meninggal). Hal ini memicu konflik dengan Kaisar Timur di Konstantinopel, terutama setelah putra Otto, Otto II (memerintah 967–83) mengadopsi tittle Imperator Romanum. Untuk mengatasi bibit konflik dengan konstantinopel, Otto II membentuk ikatan perkimpoian dengan Romawi timur dan ia menikahi putri Byzantine, Theophanu. Kelak putra mereka, Otto III, mendapatkan tahtanya pada umur tiga tahun dan menjadi sasaran perebutan kekuasaan oleh para penguasa kadipaten sampai usianya cukup dewasa pada tahun 994. Dimasa itu ia tetap tinggal di Jerman, sementara Duke yang sebelumnya disingkirkan, Crescentius II, memerintah atas kerajaan dan sebagian Italia, seolah-olah dia adalah walinya.

Pada tahun 996 Otto III mengangkat sepupunya, Gregory V sebagai Paus yang berasal dari Jerman untuk pertama kalinya. Paus yang berasal dari luar roma bersama perangkat pembantu Paus yang orang asing pula sehingga membuat para bangsawan Romawi menaruh kecurigaan dan menimbulkan pemberontakan yang dipimpin oleh Crescentius II, Mantan mentor Otto III sebelumnya. Antipope John XVI secara singkat menahan Roma, namun hanya sampai Kaisar kembali merebut kota itu.

Otto meninggal muda pada tahun 1002, dan digantikan oleh sepupunya Henry II dan dia saat itu hanya fokus pada Jerman.

Henry II meninggal pada tahun 1024 digantikan oleh Conrad II, raja pertama dari Dinasti Salian, dia terpilih sebagai raja setelah beberapa perdebatan di antara bangsawan. Kelak mereka akhirnya berkembang menjadi Electors .

Kekaisaran Romawi Suci akhirnya terdiri dari empat kerajaan. Kerajaan-kerajaan tersebut adalah:

Kerajaan German (berdiri 962)
Kerajaan Italia (sejak 962 hingga 1648),
Kerajaan Bohemia (sejak 1002 sebagai Kadipaten Bohemia dan menjadi kerajaan pada 1198),
Kerajaan Burgundy (sejak 1032 hingga 1378).

Perselisihan raja dengan Paus

Road to Canossa

Dizaman itu, Raja sering menggunakan uskup untuk urusan administratif dan sering menentukan sendiri siapa yang akan ditunjuk untuk jabatan-jabatan gerejawi. Setelah Reformasi Cluny, hal seperti itu semakin dianggap tidak pantas oleh Paus. Paus Benediktus yang memiliki pemikiran yang reformis bertekad untuk menentang praktik-praktik seperti itu, yang menyebabkan Kontroversi Investigasi dengan Raja Henry IV namun raja menolak campur tangan Paus dan membujuk para uskupnya untuk mengucilkan Paus. Paus kemudian dikucilkan oleh raja dan sekutu-sekutunya namun Paus pada gilirannya membatalkan sumpah kesetiaan yang dibuat untuk Henry dan berbalik mengucilkan Henry. Henry kemudian menemukan dirinya hampir tidak memiliki dukungan politik karena pengucilan ini dan dipaksa untuk berjalan ke Canossa, suatu peristiwa yang terkenal pada tahun 1077, di mana dia berjalan ke kastil Canossa untuk memohon pencabutan ekskomunikasi dengan harga sebuah penghinaan. Sementara itu, pangeran Jerman telah memilih raja baru yaitu Rudolf dari Swabia namun Henry kemudian mengalahkannya, walau demikian, dia akan dihadapkan dengan lebih banyak masalah lainnya nanti diantaranya pembaruan ekskomunikasi dan juga pemberontakan anak-anaknya. Setelah kematiannya, putra keduanya, Henry V , berdamai dengan Paus dan para uskup pada tahun 1122 yang dikenal dengan Concordat of Worms. Kekuatan politik Kekaisaran dapat dipertahankan, tetapi konflik yang terjadi telah menunjukkan batas-batas kekuasaan dari para penguasa, khususnya oleh Gereja yang seperti menyandera status sakral seorang raja. Kelak tahta kepausan dan para bangsawan-bangsawan Jerman akan muncul sebagai pemain utama dalam sistem politik kekaisaran.