Cụ Phan Văn Xương lấy vợ là Trần Thị Tý rồi sinh được 6 người con là Phan Văn Sanh, Phan Thị Nhẹ, Phan Thị Gạch, Phan Văn Khiêm, Phan Thị Tuyết và Phan Thị Bé Con. Gia đình cụ Xương sống tại huyện Mỹ Lộc, tỉnh Nam Định.

Năm 1945, bà Gạch dẫn em gái út Bé Con đi Hà Nội. Khi đi cầm cái liềm của nhà bố chồng tên là Nhẫn ở làng Trung để đi bán. Đến Hà Nội, bà Gạch được nhận làm con nuôi, còn bà Bé Con bỏ đi đâu không rõ.

Mấy năm sau, bà Gạch trở về quê thăm gia đình thì được biết hai em Khiêm và Tuyết cũng dẫn nhau xuống ga Nam Định không lâu sau ngày bà Gạch đi Hà Nội. Cũng từ đó, không ai biết thông tin gì về ông Khiêm và bà Tuyết.