Een van de Hohenzollern -prinsessen beschreef de kroonprins als niet erg knap, maar toch aantrekkelijk. Door het ernstige gezicht leek hij ouder, het roodachtig dunner wordende haar was ronduit lelijk. Hij sprak abrupt, hoewel hij beleefd, maar koud en zelfs minachtend was. Gebaseerd op het feit dat tientallen vrouwen in hem als kroonprins geïnteresseerd waren, creëerde Rudolf zijn beeld van vrouwen op die manier, hij verachtte ze vooral. Vrouwen zijn voor hem slechts een hulpmiddel geworden om aan zijn fysieke behoeften te voldoen. Geen van hen kon invloed uitoefenen op hem, een intellectueel zeer begaafde jongeman, of het nu zijn ‘eerste liefde’ was, de hofactrice Johanna Buska of Helena Vetsera (de moeder van zijn latere minnares Mary Vetsera, die tijdens Rudolfs flirt met haar moeder zes jaar oud). Zelfs zijn vrouw Stefanie, die klaagde dat Rudolf vrouwen onderschatte en hen niet als gelijkwaardige wezens beschouwde, had geen invloed op hem. Rudolfs schoonheidsideaal was kleine, zwartharige, delicate vrouwen, zoals zijn geliefde tante, Marie Theresa van Portugal (vrouw van aartshertog Charles Louis) en zijn minnaressen Mizzi Caspar en Mary Vetsera .

Wat de relaties met mannen betreft, werd de relatie met Lodewijk II besproken, zijn bloedneef. Er kan worden gezegd dat het van Rudolfs kant eigenlijk slechts een puur vriendschappelijke relatie was, en bovendien een relatief sterke relatie.