Tháp Nhạn là nơi thờ phụng thần linh của người Chăm cổ từ thế kỷ thứ 2 trở về trước. Tháp có hình tứ giác với 4 tầng, càng lên cao càng thu nhỏ lại so với tầng dưới, nhưng vẫn theo phong cách tầng dưới. Tháp cao gần 20 m, mỗi cạnh chân tháp dài 11 m. Trên mặt tường tháp không có hoa văn trang trí. Vòm cửa giữa hình cung nhọn có hình đầu quái vật trên đỉnh. Ðây là một chóp tháp được kết hợp hài hoà giữa hai hình tượng chóp nón cùng với hình tượng Linga, một vật mà người Chăm thường thờ ở các tháp, nên chóp tháp ở đây tạc theo hình tượng Linga nhưng chưa có dạng hoàn chỉnh như những Linga ở Ponagar hoặc Ðà Nẵng và Quảng Nam.


Khi thực dân Pháp xâm lược nước ta, chúng nã pháo làm cho đỉnh tháp và 3 góc tháp bị đổ về phía cửa tháp ở hướng đông. Do bị hư hại nhiều trong chiến tranh, vào cuối năm 1960 dưới chính quyền Ngụy, tỉnh Phú Yên cho tu bổ tháp, hàn gắn những chỗ bị nứt bên trong và ngoài tháp. Người ta dùng xi măng xây kín cả chân tháp.

Hiện nay trong tháp Nhạn không có bộ thờ và các tượng thờ. Phía sau tháp có một phiến đá lớn cao 1,30 m, mỗi cạnh rộng 0,90 m, dưới chân có chạm hình cánh sen. Dưới chân núi Nhạn về phía tây nam, ven bờ sông có một tảng đá khá bằng phẳng trên khắc 3 chữ cổ (dạng chữ Phạn) ta thường gặp ở các tấm bia trụ cột trong các tháp Chàm như ở Ponagar. Tảng đá cao 5 m, rộng 5 m. Chữ khắc ở khoảng 1/3 tảng đá. Có lẽ đây là thư tịch duy nhất ở khu vực tháp còn lưu lại. Tháp Nhạn tiêu biểu cho nghệ thuật kiến trúc của người Chăm ở vùng đất Phú Yên xưa.