演藝圈「情聖」無數，但能像「四哥」謝賢這樣，把風流活成傳奇的恐怕絕無僅有。一生經歷兩段婚姻、5位女友（其中3位公開）的他，即便年過八旬依然魅力不減。最令人佩服的是，謝賢歷任伴侶分手後全沒撕破臉，反而全都成了老友，完全做到自述「男人可以風流，但不可下流」的最高標準。
謝賢曾在節目中透露，自己這輩子有五個女朋友、兩個老婆，但婚姻均未圓滿。他將失敗歸因於伴侶主動結束關系，否認自身不專一，並強調夫妻相處需要學問與經營。
謝賢的初戀是粵語片女星嘉玲，兩人長跑12年，最後因他不願收心結婚而畫下句點；隨後他與巨星蕭芳芳短暫交往，卻因對方勸他「多讀書」、他只想「玩個夠」而因理念不合和平分手。後來蕭芳芳憑《女人四十》抱走金像獎影後，甚至是由謝賢親手頒獎，展現大方風度。
謝賢的第一任妻子是台灣「第一玉女」甄珍，他苦追四年才抱得美人歸，可惜這段婚姻僅維持兩年便因現實壓力與劉家昌介入告吹。多年後兩人在影展重逢，謝賢仍能深情表白「會永遠愛她」。
第二任妻子則是港姐狄波拉，當年謝賢出動八輛勞斯萊斯舉辦盛大婚禮，婚後育有謝霆鋒與謝婷婷。這段婚姻走過16個年頭，最終仍因性格問題畫下句點。兩人離婚時相擁而泣，分手的體面程度簡直是演藝圈典範，甚至連狄波拉與甄珍碰面都能相談甚歡。
賢最轟動的情史，莫過於69歲時在蘭桂坊結識小他49歲的Coco。這段「爺孫戀」一談就是12年，謝賢對嫩妹寵愛有加，不僅支持她投資、買金條為她做資產保障，還送她去英國留學開眼界。甚至在Coco投資失利時，謝賢不惜賣掉兒子謝霆鋒送的勞斯萊斯幫她補窟窿。
