Sinh ra trong một gia đình không khá giả, doanh nhân từng trải qua tuổi thơ khó khăn khi sống trong căn nhà lợp lá, hay bị sập xuống kênh. Cha của anh, ông Phạm Văn Mười - Chủ tịch HĐQT Công ty Nhựa Long Thành, đã đưa anh theo học hỏi từ khi còn nhỏ.