Từ quãng đối diện với vườn hoa Hàng Đậu đến ngã tư phố Pièrre Pasquier (Hoàng Diệu) cách Cửa Chính Bắc một quãng ngắn. Khúc đầu phía đông phố này - từ ngã ba Phùng Hưng đến ngã ba Lý Nam Đế - rất ngắn, chỉ có ba ngôi nhà lớn: nhà số 1 là nhà đầu Hàng Cót, nhà số 2 là cửa hàng thực phẩm của Khách trú; nhà số 3 là nhà riêng viên phó chưởng lý tòa án Hà Nội; khúc này không thuộc khu quân sự trước kia là pháo đài mang tính chất chung của khu vườn hoa Hàng Đậu.
Đoạn phố Phan Đình Phùng bao khu quân sự là bên mặt phố phía nam dãy số lẻ, kể từ ngã ba Lý Nam Đế đến ngã tư Hoàng Diệu. Ngay góc phố là khu vực tòa án quân sự, chỗ này trước kia thời còn các quan ta vẫn là nhà ngục và hại lính canh. Từ chỗ này đến cổng thành là bức tường dài xây thay cho tường thành cũ bị phá. Suốt chiều dài đến bảy tám trăm mét, bức tường ngăn bên ngoài với bên trong chỗ sát tường là những trại lính, tường cao sát mái nhà, có đục lỗ châu mili suốt bề dọc. Nhưng hiện nay những ngôi nhà làm trại lính đó đã thành nhà ở của cán bộ quân đội và gia đình nên người ta cải tạo lại tường, đục cửa thông ra với ngoài phố. Nhìn vào thấy có hai ngôi nhà một tầng xây trên hầm cao (để thoáng gió, nay cũng thành nhà ở), dãy nhiều gian (cổng số 19 và cổng số 25), tiếp đến những nhà một tầng thấp, làm theo kiểu trại lính thuộc địa. Quãng giữa bên ngoài tường có một lô Cốt lớn.
Đi gần hết khu quân sự là Của Chính Bắc, chiếc cổng thành Hà Nội cũ duy nhất trong số năm cổng xây không bị phá bỏ, vì bọn Pháp muốn giữ lại chút kỷ niệm là dấu vết phát đại bác bắn làm lõm một chỗ gạch xây khi chúng hạ thành năm 1882. Chiếc cổng cổ kính rêu phong lẫn với sắc nâu màu gạch cổ; lối vào bị bịt kín, và chiếc vọng lâu bị thay bằng một tầng nhà gác nhỏ mái ngói tây có của kính cửa chóp kệch cỡm.
Bên phải Cửa Chính Bắc có lối vào bên trong: một chiếc cổng sắt lớn đỉ vào đầu đường Nguyễn Tri Phưong, con đường này chạy suốt bề dọc khu quân sự đến sát chân Gột cờ và thông sang đường Điện Biên Phủ.
Góc đường Hoàng Diệu là một nhà lớn nằm chéo góc, có hàng rào sắt vây quanh hai mặt đường phố. Ngôi nhà hai tầng nhiều gian, lợp ngói kẽm đen, bề thế, đó là Sở Binh lương của quân đội Pháp trước, nay là trụ sở của Bộ Quốc phòng. Sân đằng trước rộng, cây cổ thụ rợp bóng mát, chiếc cổng hoa sắt đẹp làm cho ngôi nhà thêm oai nghiêm.
