Ngày 23-9-1945, đồng chí nhập ngũ là chiến sĩ thuộc Đại đội 1, Chi đội 1, Khu 7. Năm 1946, đồng chí được kết nạp vào Đảng Cộng sản Đông Dương1. Năm 1946-1947, đồng chí là chiến sĩ, Tiểu đội trưởng, Đại đội phó Đại đội 1, Trung đoàn 301. Từ năm 1948 đến năm 1949, đồng chí đảm nhiệm các chức vụ: Tiểu đoàn trưởng, Trung đoàn phó Trung đoàn 301, Khu 7. Tháng 9-1949, đồng chí nhận nhiệm vụ Tiểu đoàn trưởng Tiểu đoàn chủ lực Liên Trung đoàn 301-310, Khu 7. Tháng 9-1950, đồng chí là Tham mưu trưởng Đặc khu Sài Gòn - Chợ Lớn. Tháng 5-1952, đồng chí được cử đi học tại Trường Đảng Trung ương Nguyễn Ái Quốc. Trong thời gian làm Tham mưu trưởng Đặc khu Sài Gòn - Chợ Lớn, đồng chí có nhiều đóng góp trong công tác xây dựng và phát triển lực lượng vũ trang; đặc biệt là xây dựng và phát triển các ban công tác thành, những đơn vị trực tiếp chiến đấu trong nội đô. Hiệu quả hoạt động của Ban Công tác thành trong kháng chiến chống thực dân Pháp chính là cơ sở để Đảng ta xây dựng lực lượng biệt động trong thời kỳ kháng chiến chống Mỹ, cứu nước.
Đầu năm 1961, đồng chí làm Trưởng đoàn Sài Gòn - Gia Định thuộc Đoàn Phương Đông 1 của Bộ Tổng Tư lệnh chi viện cho chiến trường miền Nam. Khi vào đến Khu ủy Sài Gòn - Gia Định, đồng chí được bổ sung vào Ban Thường vụ Khu ủy, phụ trách quân sự. Cuối năm 1961, Quân khu Sài Gòn - Gia Định được thành lập, đồng chí được bổ nhiệm làm quyền Tư lệnh - Tham mưu trưởng Quân khu. Đầu năm 1962, đồng chí là Tư lệnh Quân khu. Trên cương vị mới, đồng chí chủ trương xây dựng địa bàn Sài Gòn - Gia Định gồm 3 vùng kết nối liên hoàn với nhau: vùng căn cứ giải phóng, vùng tranh chấp ven đô và vùng nội đô. Đồng chí đề xuất phương châm, hình thức và nội dung đấu tranh thích hợp giữa quân sự, chính trị; tranh thủ tối đa thế hợp pháp để hoạt động trong nội đô vừa bí mật, bất ngờ và hiệu quả cao; đồng thời phải giữ vững vùng căn cứ giải phóng, đặc biệt là “Căn cứ đầu não” của Khu ủy, Quân khu ở khu vực “Tam giác sắt”; mở rộng vùng cách mạng làm chủ trong vùng tranh chấp, tạo thế bao vây và làm bàn đạp tiến công nội đô.
Ban Chỉ huy Quân sự Tiền phương Sài Gòn - Gia Định (1961 - 1972) (người đứng giữa là Tư lệnh Trần Hải Phụng). Nguồn: Ảnh: Tư liệu
Tháng 4-1965, tại Suối Dây (Tây Ninh), Khu ủy Sài Gòn - Gia Định họp quán triệt Nghị quyết Trung ương lần thứ 11 (khóa III) và triển khai “Kế hoạch X” chuẩn bị tích cực để thắng địch ở mức cao nhất trong thời gian tương đối ngắn, đồng chí Trần Hải Phụng được giao trọng trách công tác đô thị và các lực lượng vũ trang đô thị, xây dựng lực lượng biệt động mạnh, có tổ chức thống nhất, xây dựng các “đơn vị bảo đảm” vận chuyển vũ khí từ ngoài vào nội thành và cất giấu vũ khí tại các cơ sở; đồng thời xây dựng các “lõm căn cứ” ngay trong nội thành và vùng ven.
Cuối năm 1967, Trung ương Cục giải thể Quân khu 7 và Quân khu Sài Gòn - Gia Định, thành lập “khu trọng điểm” chuẩn bị cho cuộc Tổng tiến công và nổi dậy Xuân Mậu Thân năm 1968, sáu phân khu được thành lập theo các hướng tiến công vào trung tâm Sài Gòn. Đồng chí Trần Hải Phụng làm Tư lệnh Phân khu 6 - Phân khu nội đô gồm các ban, ngành, đoàn thể và lực lượng biệt động, an ninh nội thành; đồng thời tham gia Bộ Tư lệnh Tiền phương Nam (II) gồm các đồng chí Võ Văn Kiệt, Trần Bạch Đằng, Trần Hải Phụng, trực tiếp chỉ huy các mũi tiến công phía Nam, một phần Tây Nam thành phố Sài Gòn gồm Phân khu 2, Phân khu 3, Phân khu 6 và lãnh đạo quần chúng nổi dậy ở nội thành.
Trong cuộc Tổng tiến công và nổi dậy Xuân Mậu Thân năm 1968, dưới sự chỉ huy của đồng chí, lực lượng biệt động “xuất quỷ nhập thần”, bí mật bất ngờ, táo bạo, linh hoạt, vừa tập trung, vừa phân tán, đánh sâu, đánh hiểm, đánh vào mục tiêu chiến lược, đánh vào cơ quan đầu não của địch, làm cho chúng bất an và lung lay ý chí xâm lược, tiêu biểu như trận Phú Thọ Hòa, tàu USNS Card, Metropol, Caravell, Brink, tòa đại sứ Mỹ, sân bay Tân Sơn Nhất, các mục tiêu chiến lược trong Xuân Mậu Thân 1968.
Tháng 8-1972, Quân khu Sài Gòn - Gia Định được tái lập, đồng chí được bổ nhiệm làm Tư lệnh Quân khu, giữ chức cho đến tháng 10-1974. Tháng 1-1975, đồng chí được điều ra miền Bắc kiểm tra sức khỏe để đi học nước ngoài, nhưng khi cuộc Tổng tiến công và nổi dậy mùa Xuân 1975 nổ ra, từ tháng 3-1975 đồng chí được điều về công tác tại Bộ Tổng Tham mưu, theo dõi chiến trường Sài Gòn - Gia Định và Chiến dịch Hồ Chí Minh (26-4-1975 - 30-4-1975).
Sau năm 1975, đồng chí đảm nhiệm chức vụ Tư lệnh Đoàn 500, cải tạo sĩ quan chế độ cũ. Tháng 10-1976, đồng chí giữ trách nhiệm Đoàn trưởng Đoàn Phước Long (Đoàn 600), Quân khu 7. Tháng 2-1978, đồng chí được bổ nhiệm Cục trưởng Cục Xây dựng kinh tế Quân khu 7. Năm 1978, đồng chí được bổ nhiệm làm Chỉ huy trưởng Bộ Chỉ huy quân sự Thành phố Hồ Chí Minh. Năm 1982, đồng chí được thăng quân hàm Thiếu tướng.
Năm 1983, đồng chí là Trưởng ban Tổng kết chiến tranh B2. Những năm từ 1984 đến 1988, đồng chí giữ trách nhiệm Phó Trưởng đoàn Chuyên gia quân sự Việt Nam 385 tại Cuba, đặc trách về công tác phòng thủ đô thị cho bạn. Năm 1992, đồng chí nghỉ hưu, tham gia Ban Thường vụ Hội Cựu chiến binh Thành phố Hồ Chí Minh, Chủ nhiệm Câu lạc bộ Truyền thống kháng chiến khối lực lượng vũ trang Thành phố Hồ Chí Minh, tham gia tổng kết chiến tranh trên chiến trường Sài Gòn - Gia Định và chủ biên nhiều tập sách về lịch sử kháng chiến của Thành phố Hồ Chí Minh.
Năm 1997, đồng chí qua đời do tuổi cao sức yếu. Gần 50 năm hoạt động cách mạng đồng chí Trần Hải Phụng liên tục bám trụ ở chiến trường gian khổ, ác liệt; gắn bó máu thịt với lực lượng vũ trang trên chiến trường trọng điểm Sài Gòn - Chợ Lớn - Gia Định. Trong 30 năm chiến tranh giải phóng (1945-1975), đặc biệt trong kháng chiến chống đế quốc Mỹ, Quân đội nhân dân Việt Nam có rất nhiều vị tướng tài ba ở các chiến trường, nhưng ở chiến trường đô thị lớn như Sài Gòn - Chợ Lớn - Gia Định chỉ có đồng chí Trần Hải Phụng gắn bó trong nhiều thời gian nhất và giữ cương vị chỉ huy cao. Vì vậy, đồng chí thường được gọi là “vị tướng chiến trường đô thị”. Đồng chí Trần Hải Phụng có hơn 40 năm gắn bó với lực lượng vũ trang Thành phố với nhiều lần giữ cương vị là người chỉ huy cao nhất, có những đóng góp không nhỏ vào sự nghiệp và vinh quang ấy. Trên các cương vị được giao, đồng chí luôn hoàn thành nhiệm vụ xuất sắc, trung thành tuyệt đối với Đảng, sống đức độ, khiêm tốn, chan hòa, đoàn kết, được cấp trên, đồng đội và nhân dân kính trọng, yêu mến. Ghi nhận công lao và đóng góp của đồng chí Trần Hải Phụng đối với sự nghiệp cách mạng, Đảng và Nhà nước tặng thưởng Huân chương Độc lập hạng Nhì; Huân chương Quân công hạng Nhất; 3 Huân chương Chiến công hạng Nhất, Nhì, Ba; Huân chương Quân công giải phóng hạng Nhì; Huân chương Chiến thắng hạng Nhất; Huân chương Kháng chiến chống Mỹ hạng Nhất; Huân chương Che Guevara, Grama (Cuba); Huân chương Hữu nghị quốc tế (Cuba, Ba Lan) và nhiều phần thưởng cao quý khác.