Cụ Lê Dự quê quán tại Điện Bàn, Quảng Nam. Sau này, ông Dự làm việc tại Nhà máy nước Quảng Trị. Tại đây, cụ  Dự kết hôn với cụ bà Nguyễn Thị Trầu rồi sinh được hai người con là Lê Nuôi và Lê Nhỏ.

Ông Lê Nuôi lúc trẻ và bây giờ

Khoảng năm 1934-1935, cụ Dự chuyển công tác vào Nha Trang. Hai người con trai thì ở lại với mẹ. Không lâu sau, cụ Trầu bỏ đi, cụ Dự về quê đón con vào Nha Trang sinh sống. Vì cuộc sống khó khăn, cụ Dự đành gửi con trai lớn là Lê Nuôi cho một người đồng hương tên Đỗ Thị Nhi chăm sóc.

Cụ Dự đưa con trai Lê Nhỏ vào Nha Trang sinh sống rồi mất liên lạc cho đến nay. Sau này, ông Nuôi đã đi tìm bố và em ở nhiều nơi nhưng vẫn không có thông tin.

Nghe nói, cụ Dự còn một người em trai tên là Lê Hoan. Lúc cụ chuyển công tác và Nha Trang thì cụ Hoan cũng đi cùng.