坎摩爾出生於紐約布魯克林區，延續了來自德國父親和意大利母親的血統。父親詹姆斯·坎摩爾（James Kimmel）是IBM的高管，母親瓊（Joan）則是位家庭主婦。他是三個孩子中的老大。坎摩爾是羅馬天主教徒，年幼時曾做過輔祭。他的母親有意大利血統，父親的祖先是德國移民。叔叔弗蘭克·波坦察曾經自2003年到2011年去世壹直作為《吉米·坎摩爾現場》的常規嘉賓出現在節目上。表弟Sal Iacono曾和坎摩爾***同主持《Win Ben Stein's Money》，現在是《吉米·坎摩爾現場》的編劇。