Chùa Bà Già có một lai lịch khá cổ. Trước kia, chùa nằm trên địa phận làng Gạ (nay là làng Phú Thượng, phường Phú Thượng, quận Tây Hồ, Hà Nội), là nơi các vua nhà Trần định cư. Một bộ phận người Chăm được đưa từ phía Nam ra đã dựng một ngôi chùa mà sử Toàn thư phiên âm là Đa-da-li. Thái úy Trần Nhật Duật (1254-1330) thường tới đây đàm đạo về Phật giáo với vị sư người Chăm trụ trì. Có thể cái tên Bà Già là từ Đa-da-li mà ra. Nay trong chùa còn bức hoành phi cổ khắc ba chữ "Bà Già tự".
Ao làng Phú Thượng nằm ngay sát cạnh chùa Bà Già, có cây si nằm giữa ao và hai bên là những hàng hoa ban trắng muốt.
Hoa ban ở Hà Nội còn được gọi là hoa ban Tây Bắc được trồng nhiều ở một số địa điểm như đường Bắc Sơn, khu đô thị Ciputra... có màu trắng hoặc sọc đỏ.
Đến đây ngắm hoa ban, du khách còn được nghe kể về sự tích chùa Bà Già, một trong những ngôi chùa bề thế, nổi tiếng Thăng Long xưa. Lịch sử ngày xưa đã có câu: "Thứ nhất chùa Bà Đá" (quận Hoàn Kiếm), "Thứ nhì chùa Bà Đinh" (chùa Châu Lâm, phường Thuỵ Khuê), "Thứ ba chùa Bà Già, (phường Phú Thượng, Tây Hồ)".