一向快人快語的吳君如在綜藝節目上大肆爆料說不喜歡趙雅芝，原因是她作爲有夫之婦，曾和無數中國人的偶像——飾演83版霍元甲的黃元申有一腿。其時雅芝有夫，元申有婦，屬於地下情。當時情況是1978年，趙雅芝與黃元申合作了《旋渦》與《剝錯大牙拆錯骨》，黃元申長相斯文，且有一身武藝，兩人合作日久生情。黃元申還寫過不少愛情信給趙雅芝，不幸被趙雅芝老公發現，此情遂無疾而終。
與“霍元甲”日久生情
在1978年左右，有片商開拍動作愛情喜劇《剝錯大牙拆錯骨》，請了《倚天屠龍記》（張紀中版 蘇有朋版 馬景濤版 梁朝偉版 吳啓華版 鄭少秋版）走紅的趙雅芝搭黃元申做主角，當時趙早已嫁給一位黃君，行業不同漸生隔膜，遇上黃元申同業同年齡，合作日久生情。但發乎情止乎禮，兩人君子相交淡如水，而黃元申也是讀過不少書之人，頗有書卷氣，常寫感情信。當時趙雅芝的丈夫黃君在娛樂圈頗爲活躍，識得某週刊老總，黃君在家撿到那些寄給阿芝的感情信，酒酣之時無意向此老總訴苦，該老總於是拿了那些信公開刊出，弄得黃元申和阿芝二人顏面無存。所幸趙雅芝不理世俗專心演戲，憑《上海灘》 、《女黑俠木蘭花》等重振聲威
二遇緋聞
後來遇到從美國回來的黃錦燊，再陷情關的趙雅芝又遇謠言。於是黃錦燊邀請杜惠東幫忙召開記者招待會和代付茶水費，次日一併結算。搞笑的是，次日相約“出來見面，面謝幫忙和找清那筆茶錢”時，看過記者會上飲茶咖啡的賬單上寫着950元，黃錦燊有些嚴肅地表示：“譁！竟然那麼貴？”結果可把杜惠東回說：“不給算了，我又不要討你便宜，當作是我請了你喝茶吧。”黃錦燊見此馬上道歉，並遞來1000元：“我說錯了千萬別介意纔好。”杜惠東表示，如今回首此事，也不勝唏噓好笑。
再婚坎坷
當初趙雅芝在電視臺的事業剛起步沒有多久時，就嫁給了她的首任丈夫黃漢偉，並隨後生育了兩個兒子。兩人這段不成熟的婚姻很不幸福，最終難以長相廝守而自然分手。記得當年爲爭取兩個孩子的撫養權，趙雅芝無奈出面與前夫對簿公堂，這成爲當年香港娛樂圈內最火爆熱門的新聞話題！在隨後的事業發展中，趙雅芝在跟藝員黃錦燊合演電視劇集《女黑俠花木蘭》的時候，戲假情真的傳出緋聞，但是隨後趙雅芝與黃錦燊兩人正式地承認了相關戀情，並於八五年在美國註冊結婚，隨即趙雅芝就變成另個黃太太，同時也生了第三個孩子。兩人的感情一直都很穩定。
