Novozriadenej diecéze však chýbal kňazský seminár. Z toho dôvodu sa Mária Terézia postarala o to, aby v arcibiskupskom seminári pri Trnavskej univerzite bolo vyhradených 27 systematických miest pre klerikov tejto diecézy. Diecézny seminár bol založený až druhým banskobystrickým biskupom Gabrielom Zerdahelym, ktorý v roku 1805 kúpil v Kapitulskej ulici staršiu budovu a dal ju upraviť pre potreby kňazského seminára. Aktuálne je to súčasná budova Diecézneho pastoračného centra Jána Pavla II., ktorá však v tom čase bola iba jednoposchodová.
Prví bohoslovci sa začali formovať v kňazskom seminári dňa 1. novembra 1807. Budova seminára bola posvätená na slávnosť Nepoškvrneného počatia Panny Márie dňa 8. decembra 1807 a patrónom seminára sa stal svätý Karol Boromejský, milánsky biskup. Oficiálny názov seminára bol Teologické učilište. Pritom počet seminaristov nikdy nebol veľký, maximálne 35 študentov, takže jednotlivé ročníky pozostávali zo 4 až 10 bohoslovcov.
V období rokov 1850 až 1869 spravoval diecézu biskup Štefan Moyses, ktorý po nástupe do úradu venoval všetko svoje úsilie na usporiadanie a povznesenie náboženských inštitúcií vo svojej diecéze. Vďaka nemu sa výchovno-vzdelávacia formácia klerikov niesla v národnom duchu. V priebehu I. svetovej vojny sa seminár dostal do vážnych ekonomických ťažkostí. Výučba v seminári bola v rokoch 1919 až 1922 prerušená. Veľkú zásluhu na rozvoji seminára mal biskup Andrej Škrábik.
Posledná oficiálna kňazská vysviacka sa v Banskej Bystrici konala v nedeľu 12. júna 1949. Andrej Škrábik, tento starostlivý pastier a veľký zástanca banskobystrického seminára, skonal v nemocnici v Banskej Bystrici v nedeľu 8. januára 1950. Čestná stráž pri katafalku milovaného biskupa a asistencia pri pohrebných obradoch bola posledným verejným vystúpením banskobystrických bohoslovcov. Kňazský seminár v Banskej Bystrici postihlo nariadenie vlády v r. 1950, na základe ktorého bol ako inštitúcia zrušený a budova poštátnená. Týmto nariadením boli zrušené aj ostatné diecézne semináre a všetko bohoslovecké štúdium na Slovensku sa sústredilo na Rímskokatolícku cyrilometodskú bohosloveckú fakultu v Bratislave. Od roku 1949 až do roku 1956 nebol pre banskobystrickú diecézu vysvätený ani jeden novokňaz.
Až do roku 1990 sa banskobystrickí seminaristi formovali v seminári v Bratislave pri Dóme svätého Martina.
V roku 1973 pápež Pavol VI. vymenoval vtedajšieho dekana v Martine Jozefa Feranca za banskobystrického diecézneho biskupa. Biskup Jozef Feranec v rokoch 1980 až 1989 každoročne v mesiaci júni svätil banskobystrických absolventov Rímskokatolíckej cyrilometodskej fakulty vo farskom kostole v Banskej Bystrici. Napokon na slávnosť svätého Jozefa dňa 19. marca 1990 bol vysvätený pre banskobystrickú diecézu nový sídelný biskup, Mons. Rudolf Baláž. Len pár dní po svojej biskupskej konsekrácii inicioval stretnutie so všetkými kňazmi diecézy, kde ako prioritu svojej biskupskej služby prezentoval túžbu obnoviť diecézny seminár. Na jeseň roku 1990 sa rozhodlo, že nový seminár bude stáť v Badíne.
Významným dňom z pohľadu histórie sa stal 15. jún 1990, keď Mons. Rudolf Baláž, banskobystrický diecézny biskup, zriadil v zmysle platných predpisov Kódexu kánonického práva kňazský seminár, ktorého patrónom sa stal svätý František Xaverský. Seminár začal plniť svoje poslanie dňa 1. júla 1990 v dočasných priestoroch historického hradu v Slovenskej Ľupči.
Za rektora diecézneho seminára v Banskej Bystrici – Slovenskej Ľupči bol vymenovaný generálny vikár a dekan banskobystrického dekanátu Tomáš Galis. Výuka v priestoroch hradu prebiehala počas výstavby novej budovy kňazského seminára v Badíne, teda v rokoch 1990 až 1993. Dňa 18. septembra 1990 sa slávnostnou svätou omšou v novozriadenom Kňazskom seminári sv. Františka Xaverského začal akademický rok 1990/1991. Medzitým dňa 1. mája 1991 bolo vydané stavebné povolenie na výstavbu nového seminára. V ten istý deň na sviatok svätého Jozefa robotníka posvätil banskobystrický diecézny biskup Mons. Rudolf Baláž základný kameň a pozemok stavby. Tento deň bol súčasne aj dňom začatia výstavby novej budovy kňazského seminára. Novú budovu v Badíne asi pre 80 bohoslovcov posvätili v r. 1993. Rektorom kňazského seminára naďalej zostal Tomáš Galis, až do 28. augusta 1999, keď bol pápežom Jánom Pavlom II. vymenovaný za banskobystrického pomocného biskupa. Novým rektorom kňazského seminára bol vymenovaný od 1. septembra 1999 Vojtech Nepšinský.
Počas 14 rokov existencie zažil seminár v Badíne množstvo významných udalostí. Azda najvýznamnejšou bola návšteva Svätého Otca Jána Pavla II., ktorý dňa 12. septembra 2003 prišiel do banskobystrickej diecézy. Svätý Otec zavŕšil pastoračnú návštevu našej diecézy pobytom v kňazskom seminári. Už 200 rokov môže byť B. Bystrica hrdá na toto stredisko viery, kultúry a vzdelanosti mladých generácií.
