Tòa nhà hiện nay là Bảo tàng Thành phố Hồ Chí Minh được xây dựng từ năm 1885 và hoàn thành năm 1890 do kiến trúc sư người Pháp Alfred Foulhoux thiết kế theo phong cách nghệ thuật Tân cổ điển của kiến trúc phương Tây kết hợp với một số yếu tố kiến trúc bản địa.
Sau khi xây xong, tòa nhà không được dùng làm bảo tàng thương mại như dự kiến ban đầu mà trở thành dinh thự của những nhân vật đứng đầu Nam Kỳ hay Miền Nam trong 85 năm: dinh thống đốc Nam Kỳ (Pháp, Nhật), dinh khâm sứ Nam Bộ (thời chính phủ Trần Trọng Kim), dinh ủy viên Cộng hòa Pháp, trụ sở chính phủ Nam Kỳ tự trị, dinh thủ hiến Nam Việt, dinh quốc khánh, dinh tổng thống (sau khi Dinh Độc Lập bị ném bom), trụ sở tối cao Pháp viện (sau khi Dinh Độc Lập được xây mới). Trước 1975, tòa nhà này thường được gọi là Dinh Gia Long.
Sau Cách mạng Tháng Tám năm 1945 thành công, tòa nhà được sử dụng làm trụ sở Ủy ban Hành chánh lâm thời Nam bộ. Ngày 9 tháng 1 năm 1950, hàng ngàn học sinh, sinh viên đã kéo về đây biểu tình, bị chính quyền thực dân Pháp đàn áp dã man và học sinh Trần Văn Ơn đã hy sinh anh dũng - trở thành nơi ghi dấu “Ngày học sinh- sinh viên toàn quốc” hàng năm. Sau ngày miền Nam hoàn toàn giải phóng (30 tháng 4 năm 1975), Ủy ban Quân quản Sài Gòn - Gia Định đã sử dụng ngôi nhà làm nơi sinh hoạt văn hóa, biểu diễn nghệ thuật và triển lãm các chuyên đề thời sự phục vụ nhân dân Thành phố.
Ngày 12 tháng 8 năm 1978, Ủy ban nhân dân thành phố Hồ Chí Minh ra quyết định thành lập Bảo tàng Cách mạng thành phố Hồ Chí Minh, đến ngày 13 tháng 12 năm 1999 được đổi tên thành Bảo tàng Thành phố Hồ Chí Minh.
Với chức năng nhiệm vụ nghiên cứu, sưu tầm, lưu giữ, trưng bày và giới thiệu lịch sử văn hóa của thành phố Hồ Chí Minh, hiện Bảo tàng có hệ thống trưng bày trên 2.000m2, gồm các nội dung chính: Thiên nhiên - Khảo cổ; Địa lý - Hành chính; Thương cảng - Thương mại và Dịch vụ; Công nghiệp - Tiểu thủ công nghiệp; Đấu tranh cách mạng (1930 - 1954; 1954 - 1975). Ngoài ra, có các chuyên đề: “Kỷ vật kháng chiến”, “Đám cưới Nam Bộ”, “Nghệ thuật sân khấu cải lương”, “Tiền Việt Nam”, “Nét văn hóa Tây nguyên”; giới thiệu về Dinh Gia Long và đường hầm trong Dinh… Bảo tàng còn có phần trưng bày ngoài trời gồm các hiện vật thể khối lớn là các phương tiện vận chuyển, sinh hoạt, chiến đấu của người dân Thành phố.
Bảo tàng Thành phố Hồ Chí Minh được Bộ Văn hóa, Thể thao và Du lịch xếp hạng di tích kiến trúc nghệ thuật quốc gia theo Quyết định số 1206/QĐ-BVHTTDL ngày 29 tháng 3 năm 2012.