Ông Phạm Văn Nhân đăng ký tìm chị tên là Phạm Thị Nhu, sinh khoảng năm 1926, tại Hà Nam. Cha là cụ Phan Văn Gắng.

Mẹ mất sớm. Năm 1937, cụ Gắng đưa hai con đến ở nhà người quen tại Thái Nguyên ở nhờ. Sau đó, bà Nhu đến ở với người chú họ tên là Phan Văn Tước, còn ông Nhân thì được chú Phan Văn Mạnh đón về. Năm 1945, không biết nguyên nhân vì sao, bà Nhu đến dẫn em về quê, nhưng ông Nhân không chịu đi cùng. Sau đó, bà Nhu bỏ nhà đi đâu không rõ.