Zápas mesta už len s Fuggerovskou mediarskou spoločnosťou sa odohrával v dvoch rovinách. V tej prvej sa mestská rada snažila oslabiť postavenie samotnej spoločnosti a v tej druhej sledovala získať patronátne právo nad špitálom sv. Alžbety.
Ešte r. 1526 začala mestská rada uskutočňovať svoj prvý zámer a zahrňovala kráľovský dvor rôznymi obvineniami na adresu Fuggerovcov, ktoré však na dvore nemali žiadnu odozvu. Vážnejšie to bolo v rokoch 1535-36, keď Fuggerovci po vyčerpaní najbohatších rudných žíl prešli nielen na ťažbu rúd s nižšou rudnatosťou, ale začali spracovávať staré haldy a trosky pri hutách. Mesto protestovalo, že haldy nahromadili bb. ťažiari pred vznikom TFMS. Pridala sa k tomu sťažnosť, že v okolitých lesoch nemôže rúbať les a páliť uhlie, že spoločnosť neplatí tzv. vážne (200 zl. ročne za používanie vážnice) a neodvádza poddanskú daň od vlastných poddaných. Od roku 1540 až do ukončenia nájmu spoločnosti (1545) píše mestská rada pravidelne panovníkovi o neplnení si povinností spoločnosti voči Bratstvu Božieho tela.
Súčasťou zápasu s mediarskou spoločnosťou bolo zdaniť poddaných, ktorí podliehali Komorskému domu, farskému kostolu, špitálu sv. Alžbety a sásovským zemanom L. Liptaimu a J. Barlovi. Mesto však najviac motivoval mlynský monopol v špitáli sv. Alžbety, ktorý prinášal najväčšie zisky (po jeho získaní tvoril zisk zo špitála u príjmov mesta: r. 1546 – 955 zl.). Pritom mesto obchádzalo výsady špitála a zriadilo si spolu s L. Liptaiom vlastný mlyn v Kostiviarskej a vytvorilo aj druhý špitál v meste, špitál sv. Anny na Hornej ulici.
Podobne ako Thurzovci, ani Fuggerovci neodolali nátlaku mestkej rady a r. 1543 rezignovali na patronátne právo nad špitálom sv. Alžbety. 16. 12. 1544 Ferdinand toto patronátne právo B. Bystrici potvrdil a 30. 12. 1544 bola podpísaná záverečná dohoda medzi Fuggerovcami (zastupovali ich faktori spoločnosti) a mestom. Následne 6. 2. 1545 rektor Kindermann odstúpil z úradu a na jeho miesto nastúpil kandidát mestskej rady Jozef z Berouna. Mestská rada tiež poverila svojich dvoch členov doživotným dozorom nad správou špitálu, ktorí podávali rade záverečné vyúčtovanie hospodárenia.
Jozef, s ktorým sa spája nástup reformácie na rektorské miesto neočakávane 10.7.1545 zomrel. Mestká rada dosadením vlastného kandidáta, syna mestského notára Rafaela Stegera, tento akt mnohokrát oľutovala. Takmer 30 rokov vo funkcii rektora sa stal Rafael až do svojej smrti r. 1576 „čiernou morou“ Banskej Bystrice. Ak za patronátu TFMS bol špitál sv. Alžbety „rajskou záhradou“, tak sa pod vedením Rafaela stal z neho pravý opak.
