Khác với sân vườn theo phong cách Châu Âu, sân vườn Nhật kết hợp nhiều yếu tố để tạo nên một kiến trúc hài hòa, mang nét đẹp rất riêng. Trong đó đá, sỏi đóng một vai trò hết sức quan trọng trong văn hóa Nhật Bản. 

Đá lớn tượng trưng cho đồi núi, thác nước. Đá được xếp chồng lên nhau tạo hình núi non, hay các tảng đá lớn dùng làm đường, dựng cầu. Đá được tôn thờ như kami, tạo điểm nhấn ấn tượng khi trang trí sân vườn.

Đá với đủ loại hình dáng, giữ bản chất nguyên sơ của nó, để rong rêu có thể sinh trưởng dễ dàng. Từ đó, khi nhìn vào tảng đó bạn sẽ thấy được vẻ đẹp tự nhiên, như chưa từng có bàn tay con người tác động.

Sỏi và cát được tìm thấy nhiều ở các đền thờ, cổ miếu hay Kyoto’s Kamigamo Shrine. Sỏi và cát dưới sự tài hoa của các kiến trúc sư đã trở nên vô cùng đặc sắc. Bởi chúng sẽ tượng trưng cho lượn sóng ngoài khơi vô cùng đẹp mắt, đặc biệt là trong thiết kế vườn khô. Ngoài ra, sỏi cát còn dùng để lót ao và suối.