Dospievajúci druhorodený syn Karola IV. Žigmund bol považovaný za príťažlivého mladíka, ktorého ženy vrúcne milovali a on im to náležite oplácal. Lenže s vlastnými manželkami to bolo naopak.
Prvú nevestu Máriu, dcéru uhorského kráľa Ľudovíta Veľkého, mu vybral otec, aby jej prostredníctvom získal uhorskú a poľskú korunu. Zásnuby sa konali už r. 1379, na ktorých neurobil dobrý dojem na matku nevesty, ktorá sa rozhodla vydať dcéru do Francúzska, čo pre Žigmunda znamenalo stratu vytúženého kráľovstva. Vtedy urobil Žigmund krok hodný dospelého muža. Pod záštitou najmä českých vojsk donútil r. 1385 mladučkú kráľovnú k sobášu, čo mu o dva roky neskôr vynieslo uhorský trón. Žiaľ, na poľovačke sa tehotnej kráľovnej potkol kôň. Následný pád z koňa budúcej mamičke urýchlil pôrod, pri ktorom zomreli obaja, matka aj dieťa. Smrťou Márie sa skončilo takmer storočné panovanie Anjuovcov v Uhorsku.
Ani druhú manželku si Žigmund sám nevybral. Počas zajatia uhorskými veľmožmi na budínskom hrade r. 1401 dostal možnosť vyslobodiť sa aj tým, že sa zasnúbil s 9-ročnou Barborou Cilskou, dcérou jedného zo sprisahancov. Hoci Žigmund bol v tom čase zasnúbený a jeho budúca nevesta Margaréta, dcéra briežskeho kniežaťa cestovala do Uhorska na vydaj, Žigmund sa oženil s 13-ročnou Barborou (v čase konania svadby mal 37 rokov), s ktorou mal len jednu dcéru. Legenda mu však pripisuje otcovstvo Vajka, starého otca neskoršieho uhorského kráľa Mateja Korvína (1458-1490). Po 14 rokoch manželstva sa dozvedel, čo to je manželská nevera a trvalo mu celé 4 roky, kým manželke odpustil. V zápale žiarlivosti rozpustil kráľovnin dvor, odobral rozsiahle majetky v Slavónsku a poslal ju do vyhnanstva. Roku 1423 došlo k zblíženiu manželov. Barbore nielen vrátil predchádzajúci majetok, ale ju obdaroval novým v Trenčianskej a Zvolenskej župe a bohatými mestami na východnom Slovensku. Na sklonku Žigmundovho života bohatá a vládychtivá kráľovná vystupovala otvorene proti manželovi, ktorý ju dal uväzniť. Novozvolený kráľ Albrecht, mimochodom jej zať, ju z väzenia prepustil, ale odobral jej všetky uhorské majetky. Barbora však pokračovala v intrigovaní aj proti Albrechtovi. Obe koruny, uhorskú a českú, ponúkla nedospelému Kazimírovi, synovi poľského kráľa, za ktorého chcela sama vládnuť. Aj Albrecht ju uvrhol do väzenia, z ktorého bola prepustená na podnet českej kališníckej šľachty, vedenej Jurajom Poděbradským. Posledné roky života prežila v Čechách, kde zomrela r. 1451 v Hradci Králové (české historické pramene uvádzajú i druhé miesto úmrtia Mělník).