Tommy Jacob Hilfiger urodził się 24 marca 1951 roku w Ellesmere. Był drugim dzieckiem w Irlandzkiej katolickiej rodzinie. Gdy miał 18 lat zrezygnował z nauki po to żeby zacząć pracować w małym sklepie z ubraniami. Jego pierwszym biznesem była odsprzedaż dwudziestu par spodni dzinsowych.