Ngô Phúc Sơn là đời thứ hai, con cụ Ngô Phúc Thắng Thủy tổ họ Hạ Đoạn. Ông là người ở lại lập nghiệp, con cháu phát triển thành họ Ngô ở đây sau khi các anh chuyển về Lạc Nghiệp (Xuân Trường - Nam Định) và các nơi khác theo lệnh chiếm sạ của vua Lê Thánh Tông. Theo Phả họ Lạc Nghiệp, Xuân Trường, Thủy tổ dòng họ là Ngô Nồm từ vùng núi Pù Rinh, Chí Linh (Thanh Hóa) chuyển cư về Hạ Đoạn, sau đó một người con ở lại đó, người anh cả Ngô Liễn về Hạ Đoạn tổ chức khai phá vùng đất hoang thành một khu rộng lớn. Ông làm quan trong triều, khi mất được dân làng tôn làm Thành hoàng làng, được xây đình thờ cúng. Như vậy, Ngô Phúc Thắng có thể là thụy hiệu của Ngô Nồm, Thủy tổ chung của các họ Hạ Đoạn, Lạc Nghiệp và một số chi họ khác.