Chị Phạm Thị Hùng đăng ký tìm cha là người Nhật, đi lính đóng quân tại Tư Nghĩa, Quảng Ngãi. Sau khi sang Việt Nam, ông lấy tên là Phạm Văn Bá.

Khoảng năm 1950, ông kết hôn với bà Nguyễn Thị Lan rồi sinh được hai người con gái là Phạm Thị Hùng và Phạm Thị Cúc. Sau khi sinh chị Cúc không bao lâu thì ông được lệnh trở về Nhật và mất liên lạc từ ngày đó.

Khi ở Việt Nam, ông Bá còn có nghề rèn dao, kéo ở cầu Ông Tổng, tại xã Nghĩa Phương, huyện Tư Nghĩa, Quảng Ngãi.