Cụ Phạm Văn Tuệ lấy vợ tên là Hoàng Thị Điều rồi sinh được người con gái đặt tên là Phạm Thị Kiến, sinh năm 1925, tại Hưng Yên. Cụ Tuệ có người anh trai tên Luyến và em gái tên Đề. Khoảng năm 1928, cuộc sống khó khăn, cụ Luyến vào Nam làm phu cao su tại đồn điền Phú Riềng. Sau đó, gia đình có nhận được thư của cụ Luyến nhắn em trai vào đón về. Một năm sau, cụ Tuệ vào Nam đón anh trai, nhưng sau đó hai anh em không quay về quê nữa. Khoảng năm 1933, cụ Điều có nhận được thư hỏi thăm của cụ Tuệ rồi biệt tích cho đến nay.