呂樂的壹生都是處於罪惡之中,上世紀60年代的香港,可以說是黃賭毒最泛濫的地區,呂樂壹方面做著自己警察探長的身份,另壹方面還聯系著黑社會組織,可以說是縱橫黑白兩道,地位很突出,和黑幫的老大聯手收取了大量財富。1974年,香港的前監督成員麥理浩成立了廉政公署,開始了“打虎”行動,期間香港地區經常發生沖突案件,呂樂被香港廉政公署通緝前曾舉家移居加拿大,後恐被引渡回港,與妻再潛逃至與香港沒引渡協議的臺灣定居,子女則多留在溫哥華。至於呂樂是在臺灣死後遺體送到加拿大出殯,還是在加拿大死去,則暫未能證實。目前呂樂仍在香港廉政公署的通緝名單上。
據加拿大的警方介紹,當時至少有40多人是從香港地區逃到了這裏,呂樂準備移民到溫哥華。呂樂老年時期在臺灣接受了壹次采訪,被問到想不想回到香港,呂樂說自己在香港已經沒有任何朋友了,我的家人都在臺灣地區,回去也沒有什麽可留戀的了。