Cửa sông Tô Lịch, chỗ đổ ra sông Hồng, là đất giáp Giang Nguyên thôn Hương Nghĩa tổng Tả Túc (sau đổi là tổng Phúc Lâm). Đoạn cuối sông Tô Lịch đó được lấp bằng vào khoảng những năm cuối thập niên chín mươi thế kỷ XIX (bản đồ Hà Nội năm 1890 còn vẽ sông Tô Lịch).
Chỗ sông lấp đó là một khu đất hình chữ nhật bề dài 75 mét, bề rộng 40 mét. Hai bên chiều dài là hai mặt phố Chợ Gạo, một chiều rộng là một đoạn của phố Đào Duy Từ. Một phố nhỏ và ngắn, phố Đông Thái, nối góc đông nam Chợ Gạo với phố Mã Mây. Ban đầu chỗ sông lấp này còn là một bãi trống rộng, trở thành nơi tập trung những người buôn bán ngũ cốc do thuyền các nơi chở đến đậu ở chỗ cửa sông cũ, trước kia cũng đã là một chợ thóc gạo.
Người Pháp sau khi lấp sông, đặt tên cho bãi trống họp chợ buôn bán thóc gạo này là Place du Commerce (bãi rộng buôn bán). Chung quanh là khu phố Hoa kiều có nghề cân đong và xay xát gạo, xuất cảng gạo, nên Chợ Gạo nhanh chóng trở nên sầm uất. Ngưỏi ta dựng một cầu chợ khá rộng lọp tôn, không có tường để mọi ngưòi ưánh mưa nắng. Một hàng cây phượng vĩ được trồng ở hè đường Clemenceau cho bóng mát, mùa hè hoa nở đỏ ối.
Hai mặt phố Chợ Gạo là:
- Dãy phố phía bắc đầu phố là trường Ke, tường bên chiếm một quãng dài; tiếp đến một loạt mấy ngôi nhà nhỏ hai tầng có vẻ mới làm, của những gia đình buôn bán gạo (từ số 2 đến số 8); rồi đến khu đất đình Hương Nghĩa, ngôi đình hãy còn song nhỏ bé với mấy ngôi nhà cũ kỹ đang đổ nát.
- Dãy phố phía nam Chợ Gạo là một kho lớn chứa gạo, mặt chính quay ra phố Đào Duy Từ.
Chợ Gạo là một phố nhỏ ít nhà, nhưng là một địa điểm buôn bán lớn sầm uất, bên trong lại thông với Hàng Buồm, nên có đông người dựa vào đây sinh sống: phu khuân vác gạo và hàng hóa khác cho các của hiệu bên Hàng Buồm - Đào Duy Từ; họ là dân trú ngụ ở ngoài bãi sông hoặc từ các làng ngoại ô vào, một số khá đông là phu người Hoa kiều thì ờ trong các ngõ Sầm Công, Lataste (Hàng Giấy), Galet (Lương Ngọc Quyến). Những người đàn bà đáo để kiếm ăn bằng nghề hàng xáo. Quanh Chợ Gạo cũng là đất hoạt động của bọn lưu manh, du côn, kẻ cắp giật khăn và tay nải, ô nón của hành khách đi tàu thủy, người qua đường lúc nhá nhem tối; bọn du côn chuyên đánh nhau thuê, xưng anh chị (tay “anh chị Chợ Gạo” nổi tiếng có tên Khuể - theo lời ông Lê Văn Kim); những chuyện múa sư tử ăn giải tết Trung thu ở trong phố, kéo bè kéo cánh hàng đàn gây sự đánh nhau, là dịp ra oai với phe du côn khu vực khác.