pięciokrotnie żonaty: 1. Louise Polizzi (25.06.1929 - 1936, rozwód), dziecko; 2. Alma Ross (od 1935); 3. Tracelene Barrett (od 17.06.1948), dziecko; 4. Keely Smith (13.07.1953 - 1961, rozwód), 2 dzieci; 5. Gia Maione (od 1962 do jego śmierć), 2 dzieci