Ο Φίσερ, εκτός από το υποκριτικό ή ερμηνευτικό του ταλέντο, έγινε επίσης γνωστός για τους πολλούς (συνολικά πέντε) γάμους του με διάφορες σταρ του Χόλιγουντ.
Το 1959 ο Φίσερ είχε εγκαταλείψει την
πρώτη σύζυγο του, τη γνωστή ηθοποιό των μιούζικαλ Ντέμπι Ρέινολντς, για να γίνει ο τέταρτος από τους οκτώ συζύγους της Ελίζαμπεθ Τέιλορ.
Στη συνέχεια ο Φίσερ παντρεύτηκε για τρία χρόνια με την ηθοποιό και τραγουδίστρια Κόνι Στίβενς.
Η απαλή φωνή του Φίσερ έχει συνδεθεί αναπόσπαστα με την παρουσίαση των μουσικών ποπ τσαρτς της δεκαετίας του '50. Κάθε παρουσίαση ήταν και μια ακόμα μεγάλη του επιτυχία.
Επίσης, στη διάρκεια της δεκαετίας του '50, ήταν ο οικοδεσπότης επιτυχημένων μουσικών τηλεοπτικών εκπομπών και ήταν εξαιρετικά δημοφιλής στο Χόλιγουντ που πάντα εντυπωσίαζε με τη νεανική του εμφάνιση σε διάφορους δεύτερους ρόλους.
