Keizer Franz Joseph kenden vele tegenslagen in zijn leven.

Op 5 februari 1840 overleed het jongere zusje van Franz Joseph, Maria Anna op 4-jarige leeftijd aan de gevolgen van epilepsie.
Op 24 oktober 1840, drie dagen voordat Maria Anna vijf jaar zou worden, beviel zijn moeder, aartshertogin Sophie van een stil geboren zoon.
Op 29 mei 1857 overleed zijn oudste dochter, Sophie van oostenrijk aan de gevolgen van koorts en diarree
Op 19 juni 1867 werd zijn jongere broer Ferdinand Maximiliaan, keizer van Mexico, gefusilleerd in Mexico.
Op 30 januari 1889 pleegt zijn zoon Rudolf zelfmoord in het jachtslot Mayerling.
Op 19 mei 1896 stierf zijn andere broer Karel Lodewijk aan buiktyfus.
Op 10 september 1898 werd zijn vrouw keizerin Elisabeth door de Italiaanse anarchist, Luigi Lucheni, vermoord.
Op 28 juni 1914 werd zijn neef, Frans Ferdinand, Vermoord. Hierdoor brak de Eerste Wereld Oorlog uit.