Cuộc khai quật khảo cổ học do Viện Bảo tàng lịch sử Việt Nam phối hợp với Ty Văn hóa Nam Hà tiến hành vào năm 1976 tại khuôn viên chùa trên diện tích 300m2 đã mở ra nhiều bất ngờ thú vị. Ngay dưới độ sâu 0,5-1,1m đã tìm thấy hàng trăm di vật như mảnh gốm sứ, gạch ngói, đầu rồng đất nung dụng cụ lò nung gốm… Điều đáng lưu ý ở đây là hai sân gạch hoa được lát theo kiểu chéo góc. Những viên gạch được nung già, màu sắc đỏ tươi, chất đất mịn. Bề mặt gạch vẫn còn nguyên những họa tiết phong phú như hoa chanh, hoa cúc… với đường nét thanh mảnh, mềm mại, tinh tế cho thấy giá trị, tầm vóc của sân rồng cũng như mức huy hoàng của cung điện. Ngoài ra, những đầu rồng, đầu phượng cùng các loại bát đĩa, gạch ngói có kích thước, kiểu cách giống các di vật tìm thấy khu vực đền Thiên Trường cho thấy hành cung Đệ Tứ đối với các vua chúa, quý tộc Trần xưa là vị trí được quan tâm đặc biệt.
Chùa Đệ Tứ không chỉ là nơi ẩn chứa nhiều giá trị khảo cổ học mà còn là một công trình kiến trúc có giá trị nghệ thuật. Nằm quay hướng tây, ẩn dưới những tán cây cổ thụ to lớn và quang cảnh làng mạc thanh bình, ngôi chùa làm theo kiểu chữ công, kết hợp với các công trình phụ trợ xung quanh như giếng nước, vườn cây, nhà tổ, tăng phòng, nhà khách tạo thành một không gian linh thiêng, gần gũi và tĩnh lặng. Tiền đường gồm 5 gian 2 chái được tu sửa vào năm Thành Thái thứ 8 (1898) nên mang đậm phong cách nghệ thuật thời Nguyễn. Toàn bộ tiền đường gồm có 6 bộ vì được làm theo kết cấu chồng rường giá chiêng, bẩy tiên, bẩy hậu. Trần các xà dọc, xà nách, câu đầu được điểm xuyết nhẹ nhàng các họa tiết long chầu, tứ quý, lá vật với đường nét thoáng đạt. Gánh đỡ bộ mái tiền đường là 24 cây cột lim đều có đường kính 0,30m. Tam bảo ba gian được nối với tiền đường bởi kỹ thuật giao mái bắt vần. Tam bảo gồm 4 gian xây dọc, đặt trên vì 4 hàng chân theo kết cấu kẻ truyền. Trên các câu đầu, bẩy, kẻ được bào trơn, chạy đường chỉ kép. Tại Tam bảo có bài trí 15 pho tượng mang phong cách thời Nguyễn chia làm 5 lớp. Thượng điện gồm 3 gian xây ngang, nối với Tam bảo bằng kỹ thuật giao mái bắt vần. Tại đây, các cấu kiện gỗ cũng được trang trí nhẹ nhàng, đơn giản tạo thành một không gian rộng rãi thoáng đạt. Bao quanh ngôi chùa là nhà tổ 7 gian, nhà khách 7 gian, phủ mẫu 3 gian, tăng phòng 5 gian. Tất cả các hạng mục công trình này đều được làm bằng gỗ lim, mái lợp ngói nam. Trải qua thời gian, được sự quan tâm của chính quyền và nhân dân địa phương nên các công trình vẫn giữ được độ bền vững cùng các phong cách kiến trúc cổ truyền./.
