Trong giai đoạn cuối của cuộc kháng chiến chống Mỹ, cứu nước, trước yêu cầu nhiệm vụ chiến đấu cấp bách, Bộ Tư lệnh Binh chủng Đặc công chủ động xây dựng lực lượng cơ động cho chiến trường theo chỉ thị của Bộ Tổng Tham mưu gồm các Tiểu đoàn đặc công trực thuộc Bộ Tư lệnh binh chủng gồm: Tiểu đoàn 25, Tiểu đoàn 30, Tiểu đoàn 31, Tiểu đoàn 29, Tiểu đoàn 35.
Ngày 15/7/1970, Tiểu đoàn 31 Đặc công chính thức được thành lập. Lớn lên từ gian khổ, trưởng thành trong chiến đấu, với những chiến công xuất sắc trong cuộc kháng chiến chống Mỹ, cứu nước, ngày 20/12/1973, Tiểu đoàn 31 Đặc công được Chính phủ Cách mạng Lâm thời Cộng hòa miền Nam Việt Nam phong tặng danh hiệu Anh hùng LLVT Nhân dân.
Sau ngày 30/4/1975, trong đội hình của Lữ đoàn Quân cảnh, đơn vị nhanh chóng tiếp quản, bảo vệ các mục tiêu, địa bàn trọng yếu của thành phố; trấn áp tội phạm, phần tử phản động, góp phần giữ vững ổn định chính trị, trật tự an toàn xã hội thành phố, tích cực tham gia xây dựng chính quyền cơ sở. Tiếp đó, đơn vị tham gia chiến đấu bảo vệ biên giới Tây Nam Tổ quốc và nhiệm vụ quốc tế ở Campuchia.
Ở từng giai đoạn cách mạng của đất nước, quy mô, tổ chức biên chế của tiểu đoàn có sự thay đổi theo yêu cầu, nhiệm vụ xây dựng và bảo vệ Tổ quốc. Sau khi rút quân về nước, tiểu đoàn tập trung củng cố, xây dựng đơn vị, tiếp tục làm nhiệm vụ Kiểm soát quân sự, huấn luyện, sẵn sàng chiến đấu bảo vệ thành phố.
Trong giai đoạn cách mạng mới, trước yêu cầu, nhiệm vụ ngày càng cao để xây dựng Quân đội “cách mạng, chính qui, tinh nhuệ, từng bước hiện đại”, Đảng ủy, Ban Chỉ huy tiểu đoàn tập trung lãnh đạo, chỉ đạo xây dựng, hoàn thiện chức năng, nhiệm vụ cho từng đơn vị; thường xuyên quan tâm, tạo điều kiện cho đội ngũ cán bộ học tập, bồi dưỡng nâng cao trình độ chuyên môn, nghiệp vụ; chú trọng thực hiện tốt phương châm “cơ bản, thiết thực, vững chắc”, “3 thực chất” trong huấn luyện (dạy thực chất, học thực chất, kiểm tra thực chất); bảo đảm đầy đủ nội dung, chương trình, nâng cao chất lượng huấn luyện và kiểm tra kết thúc huấn luyện nghiêm túc, bảo đảm an toàn. Đơn vị chú trọng huấn luyện chuyên sâu và lồng ghép nhiều nội dung học tập, bổ trợ cho nghiệp vụ kiểm soát quân sự và các hoạt động phòng, chống tội phạm, nhất là nắm bắt kịp thời, phối hợp triệt phá phần tử phá hoại, gây mất ổn định chính trị, phá rối an ninh trật tự xã hội.
Với đặc thù của một đơn vị vừa làm nhiệm vụ cơ động sẵn sàng chiến đấu vừa tiến hành công tác kiểm soát quân sự duy trì kỷ luật Quân đội; thực hiện nhiệm vụ tiêu binh, danh dự; đưa, đón, bảo vệ các đoàn khách trong và ngoài nước đến thăm, làm việc tại thành phố và các địa phương trên địa bàn Quân khu; tuần tra giữ gìn an ninh chính trị, trật tự an toàn xã hội; công việc nhiều, đan xen và nhiều nhiệm vụ đột xuất, Đảng ủy, Ban chỉ huy Tiểu đoàn luôn chủ động, nhạy bén trong lãnh đạo, chỉ huy, điều hành đơn vị hoàn thành xuất sắc mọi nhiệm vụ được giao.
Đặc biệt, trong cuộc chiến phòng, chống dịch Covid-19, với tinh thần “Chống dịch như chống giặc”, cán bộ, chiến sĩ Tiểu đoàn KSQS 31 không quản ngại khó khăn, gian khổ, nguy cơ bị lây nhiễm, là một trong những lực lượng nòng cốt, xung kích trên tuyến đầu, cùng các cấp, các ngành tích cực phòng, chống dịch bệnh, bảo vệ sức khỏe, tính mạng cho Nhân dân. Qua đó thể hiện rõ bản lĩnh chính trị, ý chí quyết chiến trong cuộc chiến chống đại dịch, tô thắm thêm hình ảnh “Bộ đội Cụ Hồ” dù trong bất luận hoàn cảnh nào vẫn luôn đoàn kết, gắn bó máu thịt với Nhân dân, hi sinh quên mình vì Nhân dân phục vụ; xứng đáng là chỗ dựa tin cậy, vững chắc của Nhân dân thành phố.