Thủy tổ họ Phan Ngô Tống Văn là Ngô Phúc Thọ (đời 30 HNVN) thuộc dòng Đồng Phang 1 - Ngô Khắc Cung - Thanh Hóa.
Ngô Khắc Cung (1452 - 1541, đời 22) là con trai thứ 7 của Thanh Quốc công Ngô Khế (1426 - 1514). Cháu đời thứ 7 Ngô Khắc Cung là Đằng Giang hầu Ngô Tiến Vinh (tức Ngô Tiến Triều 1623 - 1701). Ngô Tiến Vinh có 6 con trai, con thứ 3 là Ngô Đình Quyền (1640 - 1713). Ngô Đình Quyền có 4 con trai, trưởng là Ngô Phúc Thọ. Ngô Phúc Thọ bốc cư về Tống Văn nay thuộc xã Vũ Chính, TP. Thái Bình, đổi sang họ Phan. Về lý do đổi họ, Phan Hữu Lập là con cháu họ này (đời 31) soạn Ngô gia thế biên vào giữa thế kỷ XVIII, cho biết giữa hai họ Ngô, Trịnh có mối bất hòa, nên sợ mới đổi sang họ Phan. Việc đổi sang họ Phan, theo Phan Bá Khoát là để giữ âm Đồng Phang - quê gốc của dòng họ ở xã Định Hòa - Yên Định - Thanh Hóa. Mối bất hòa giữa Ngô - Trịnh mà Phan Hữu Lập nói, xảy ra vào thời Vĩnh Thịnh (1705 - 1719). Ông nội Ngô Phúc Thọ là Ngô Tiến Vinh một viên tướng tài ba phò tá Trịnh Bách, về sau hai con Trịnh Bách là Trịnh Luân, Trịnh Phất mưu giết Trịnh Cương - người được chúa Trịnh Căn chọn kế vị mình. Luân và Phất bị ông nội là Trịnh Căn cho bắt giết, Ngô Đình Quyền sợ, cho con trưởng Ngô Phúc Thọ lánh về Tống Văn. Mấy năm sau Ngô Đình Quyền cũng ra Tống Văn ở với con trưởng, được mấy năm mới mất, có mộ tại Tống Văn. Con cháu họ Phan Ngô Tống Văn đến 2010 đã đến đời 44.