In het jaar 1878 kwam Rudolf naar Praag, toen hij zich aanmeldde als ck-kolonel vaninfanterieregiment nr. 36. Hij woonde in Hradčany.

In Praag wijdde Rudolf zich niet alleen aan militaire taken en het schrijven van politieke documenten maar ook van zijn vrijheid ondanks al het werk. Hij nam deel aan verschillende feesten, dronk en won de harten van vrouwen, wat ook resulteerde in verschillende zaken. Toen Rudolf verliefd werd op een arme joodse vrouw, stuurden haar ouders haar naar het platteland om Rudolf te vergeten. Het meisje stierf daar echter aan een nerveuze koorts en was alleen maar enthousiast over de kroonprins. Rudolf kon haar begrafenis natuurlijk niet bijwonen, dus bezocht hij haar graf nacht na nacht en bracht daar uren door in verdriet, totdat hij op een dag werd betrapt door de bewakers van de begraafplaats. Hier is een parallel met keizer Jozef II duidelijk. – Rudolf bezocht graag sloppenwijken incognito . Uit deze min of meer opgesmukte Praagse episode komt echter Rudolfs karakteristiek naar voren, namelijk dat hij last heeft van spijt en deze slechts met moeite kan overwinnen.

Het Praagse Rudolfinum is vernoemd naar de kroonprins .