Tháng 6-1975, đồng chí nhập ngũ, là chiến sĩ Ban chỉ huy quân sự huyện Bến Lức, Bộ Chỉ huy quân sự tỉnh Long An. Trong những năm từ 1978 đến 1979, đồng chí là học viên Trường Sĩ quan Lục quân 2, được kết nạp vào Đảng Cộng sản Việt Nam ngày 25-5-1979. Sau khi tốt nghiệp, từ năm 1979 đến năm 1983, đồng chí lần lượt đảm nhiệm các chức vụ: Trợ lý Tham mưu, Phó Đại đội trưởng, Đại đội trưởng, Tiểu đoàn phó về Chính trị Tiểu đoàn 40, Sư đoàn 477 - sư đoàn khung có nhiệm vụ huấn luyện chiến sĩ mới chuẩn bị thực hiện nhiệm vụ quốc tế tại Campuchia và huấn luyện cả lực lượng vũ trang Campuchia.

Trung tướng Phạm Văn Dỹ
Từ năm 1998 đến năm 2002, đồng chí giữ chức Phó Sư đoàn trưởng về Chính trị Sư đoàn 9, Quân đoàn 4. Từ năm 2002 đến năm 2006, đồng chí đảm nhiệm các chức vụ Phó Chủ nhiệm Chính trị, Chủ nhiệm Chính trị Quân đoàn 4, trong đó có thời gian đồng chí được cử đi học ngắn hạn tại Học viện Chính trị Quốc gia Hồ Chí Minh. Trên cương vị được giao, đồng chí đã cùng với Đảng ủy - Ban Chủ nhiệm Cục Chính trị thực hiện tốt nhiệm vụ tham mưu cho Đảng ủy - Bộ Tư lệnh Quân đoàn 4 về công tác đảng, công tác chính trị, giúp Đảng ủy - Bộ Tư lệnh Quân đoàn 4 lãnh đạo, chỉ đạo sát, đúng, hiệu quả công tác giáo dục chính trị tư tưởng, xây dựng, kiện toàn đội ngũ cán bộ đảng viên, tăng cường công tác bảo vệ an ninh, công tác chính sách, công tác tuyên truyền thi đua, công tác dân vận và các hoạt động văn hóa tinh thần.
Từ năm 2006 đến năm 2007, đồng chí là Phó Chính ủy, Ủy viên Thường vụ Đảng ủy Quân đoàn 4. Từ năm 2007 đến năm 2010, đồng chí giữ chức Chính ủy Trường Sĩ quan Lục quân 2; được thăng quân hàm Thiếu tướng năm 2007.
Tháng 10-2010, đồng chí được bổ nhiệm làm Chính ủy Quân khu 7. Tháng 11-2011, đồng chí được thăng quân hàm Trung tướng. Trong thời gian đảm nhiệm chức vụ Chính ủy, Bí thư Đảng ủy Quân khu 7 (2010-2018), đồng chí là trung tâm đoàn kết, phát huy sức mạnh tổng hợp của Thường vụ Đảng ủy - Bộ Tư lệnh Quân khu 7, thường xuyên giữ mối quan hệ chặt chẽ với Thường trực Tỉnh ủy, Thành ủy trên địa bàn, xây dựng lực lượng vũ trang Quân khu, địa phương vững mạnh toàn diện, hoàn thành tốt mọi nhiệm vụ được giao; góp phần xây dựng khu vực phòng thủ trên địa bàn ngày càng vững chắc, xứng tầm là địa bàn chiến lược, trọng yếu phía Nam của Tổ quốc.
Là một cán bộ có trình độ, tâm huyết, có tư duy đổi mới, dám nghĩ, dám làm, dám chịu trách nhiệm, đồng chí đã nỗ lực nghiên cứu, nắm bắt tình hình Quân khu, nhiệm vụ quốc phòng địa phương, chủ động tham mưu cho Quân ủy Trung ương, Bộ Quốc phòng các chủ trương, giải pháp lãnh đạo, chỉ đạo xây dựng Quân đội vững mạnh về chính trị; đồng thời, đề xuất với Đảng ủy, Ban Thường vụ Đảng ủy Quân khu ban hành các nghị quyết, chỉ thị thực hiện nghị quyết, chỉ thị của cấp trên và nghị quyết của Đại hội Đảng bộ Quân khu, tập trung đột phá vào công tác quốc phòng địa phương, công tác cán bộ, xây dựng tổ chức cơ sở Đảng trong sạch vững mạnh, xây dựng lực lượng vũ trang Quân khu vững mạnh về chính trị, tạo chuyển biến về nhận thức, trách nhiệm của đội ngũ cán bộ và quan tâm công tác hậu phương quân đội. Đồng chí đã chỉ đạo nâng cao chất lượng, hiệu quả hoạt động công tác đảng, công tác chính trị trong tuyển quân, huấn luyện, đào tạo; trực tiếp tuyên truyền định hướng tư tưởng cho cán bộ, đảng viên, học sinh, sinh viên và nhân dân trên địa bàn trước những vấn đề thời sự của đất nước, của Đảng.
Trong công tác tuyên truyền, đồng chí đặc biệt quan tâm cộng đồng tôn giáo, đồng bào các dân tộc. Nhiều chuyến viếng thăm, gặp gỡ của đồng chí tại các cơ sở tôn giáo đã để lại ấn tượng sâu sắc về hình ảnh đẹp của “Bộ đội Cụ Hồ” đã gắn bó bao đời nay với người dân Việt Nam.
Mối quan hệ đó không có ranh giới, không phân biệt lương - giáo mà hướng đến mục tiêu chung phát huy sức mạnh đại đoàn kết toàn dân tộc, để xây dựng đất nước ngày càng giàu mạnh, quốc phòng, an ninh vững chắc. Đồng thời, đồng chí cũng chỉ đạo các cơ quan, đơn vị trong Quân khu 7 phối hợp chặt chẽ các cấp ủy, chính quyền địa phương và các cơ quan báo chí đẩy mạnh tuyên truyền nhiệm vụ quân sự, quốc phòng, quốc phòng địa phương, lao động giúp dân của lực lượng vũ trang, đối ngoại quốc phòng, công tác huấn luyện, sẵn sàng chiến đấu… đưa hình ảnh lực lượng vũ trang Quân khu 7 - hình ảnh “Bộ đội Cụ Hồ” luôn trở nên gần gũi, thân thương đối với nhân dân. Bằng nhiều biện pháp thực hiện đồng bộ, đồng chí đã góp phần ổn định tình hình Đảng bộ và lực lượng vũ trang Quân khu, xây dựng Đảng bộ Quân khu trong sạch vững mạnh, lực lượng vũ trang Quân khu hoàn thành tốt nhiệm vụ được giao.
Là cán bộ được đào tạo cơ bản, qua thực tế chiến đấu, trưởng thành qua các cương vị chỉ huy đại đội, tiểu đoàn, trung đoàn, sư đoàn, quân đoàn, Chính ủy Trường Sĩ quan Lục quân 2 và Chính ủy Quân khu 7.
Đồng chí là một cán bộ có năng lực tiến hành công tác đảng, công tác chính trị; có phương pháp nắm tình hình, phân tích tình hình khoa học, chính xác; có kiến thức rộng về văn hóa, xã hội, ngoại ngữ; có khả năng tuyên truyền, thu hút người nghe. Với bản tính thẳng thắn, trung thực, chân thành, khiêm tốn, chịu khó học tập, nghiên cứu, tổng kết rút kinh nghiệm, có trách nhiệm cao trong xây dựng mối đoàn kết trong Đảng ủy - Bộ Tư lệnh Quân khu, đoàn kết cán bộ, chiến sĩ; tạo được uy tín với cấp ủy, chính quyền địa phương và nhân dân trên địa bàn đóng quân.
Tháng 7-2018, Trung tướng Phạm Văn Dỹ được nghỉ hưu theo chế độ, sau 42 năm phục vụ trong quân ngũ. Với những cống hiến trong quá trình học tập, chiến đấu, công tác, đồng chí đã được Đảng và Nhà nước trao tặng: Huy hiệu 40 năm tuổi Đảng; Huân chương Chiến công hạng Nhất, Huy chương Quân kỳ quyết thắng, cùng nhiều phần thưởng cao quý khác.