Tòa nhà do kiến trúc sư Paul Gardès thiết kế, được khởi công xây dựng năm 1898, hoàn tất và khánh thành năm 1909. Ban đầu tòa nhà mang tên Hôtel de ville (tạm dịch là Tòa Thị chính), người dân Sài Gòn thường gọi nơi đây là Dinh Đốc lý hay Dinh Xã Tây. Năm 1959, Tòa Thị chính được đổi tên gọi thành Tòa Đô Chánh.
Sau ngày 30 tháng 4 năm 1975, tòa nhà được Ủy ban Quân quản Thành phố Sài Gòn – Gia Định tiếp quản, sử dụng làm trụ sở làm việc. Ngày 2 tháng 7 năm 1976, Quốc hội Việt Nam quyết định đổi tên thành phố Sài Gòn – Gia Định thành Thành phố Hồ Chí Minh, tòa nhà vẫn được sử dụng làm trụ sở làm việc của chính quyền Thành phố Hồ Chí Minh. Hiện nay, tòa nhà là trụ sở làm việc của Hội đồng nhân dân và Ủy ban nhân dân Thành phố Hồ Chí Minh.
Khi mới xây dựng, tòa nhà gồm một khối sảnh và hai khối nhà một tầng ở hai bên khối sảnh. Khoảng thập niên 1930 - 1940, hai khối nhà một tầng này đã được xây thêm tầng lầu. Công trình có sự pha trộn phong cách kiến trúc Baroque, trang trí kiểu Rococo, cửa sắt kiểu art – nouveau…Hàng cột tròn theo thức cột Corinth chống đỡ phần trung tâm của tầng lầu, được xen kẽ với các cửa vòm, tạo sự thông thoáng, mềm mại cho tòa nhà.
Năm 1966, ba dãy nhà bốn tầng được xây thêm phía sau tòa nhà cổ, hiện nay là nơi làm việc của các phòng, ban thuộc Ủy ban nhân dân Thành phố và trụ sở của Sở Nội vụ.
Trong quá trình hình thành và phát triển, trụ sở đã có những lần sửa chữa, cải tạo và mở rộng cơ sở vật chất để phù hợp với một thành phố đang ngày càng phát triển. Năm 1990, trụ sở đã được xây dựng thêm khu nhà hai tầng phía bên trái tòa nhà. Năm 1998, xây dựng thêm một khu nhà hai tầng ở phía giáp đường Pasteur. Năm 2005, các chuyên gia ánh sáng của Thành phố Lyon (Pháp) đã thiết kế và lắp đặt hệ thống chiếu sáng nghệ thuật làm cho tòa nhà càng thêm rực rỡ. Năm 2016, trùng tu, sửa chữa lớp trang trí trần đại sảnh lầu 1. Năm 2017-2018, sửa chữa cải tạo khối nhà giáp đường Đồng Khởi.
Trang trí trên trần, trán tường và vách tường đại sảnh – tầng1
Trụ sở Ủy ban nhân dân thành phố còn là nơi ghi dấu sự ra đời của Ủy ban Hành chánh Lâm thời Nam bộ vào ngày 25 tháng 8 năm 1945. Bia lưu niệm sự kiện lịch sử trọng đại này đã được dựng tại vườn hoa trước Trụ sở Ủy ban nhân dân thành phố Hồ Chí Minh.
Trụ sở Ủy ban nhân dân thành phố Hồ Chí Minh được Bộ Văn hóa, Thể thao và Du lịch xếp hạng là di tích kiến trúc nghệ thuật quốc gia tại Quyết định số 3244/QĐ-BVHTTDL ngày 04 tháng 11 năm 2020.