일본정원의 기본골격은 바위가 모여있는 방식에 따라 결정되며, 여기에 교목과 관목뿐 아니라 모래, 인공언덕, 연못, 유수 등이 일본 특유의 미학을 살려 배치된다. 일본의 정원은 일반적으로 2개의 종류로 나뉘는데 언덕과 연못으로 구성된 '츠키야마'(언덕 정원)와 이 두 가지가 없는 '히라니와'(평지정원)가 그것이다. 저택의 정원에는 언덕형식 정원이 사용되었으며, 제한된 공간에서는 평지정원이 만들어졌고 이 평지정원은 다도와 '차시쯔'(다실)가 발달하면서 널리 퍼지게 되었다. 츠기야마식의 대표는 교토의 텐류지와 사이호지. 가레산스이식 정원도 있는데 류안지가 그 대표적인 예이다. 이러한 일본 정원의 모든 특징들을 고루 갖고 있는 교토의 가쓰라 별궁은 샷케이식 정원으로 원경으로 보이는 풍광 자체를 정원의 일부로 만든 것이다.

헤이안 시대의 지와라 정권은 그들의 권력을 강화하고 전통예술과 문화를 발달시켰다. 따라서 이 시대의 정원은 매우 호사스러웠다. 교토의 여름은 덥고 습도가 높아서 '야리미즈'라고 불리는 개울물이 건물과 정원 사이에 있었다. 이러한 '후나 아소비(뱃놀이)'형식의 정원에는 종종 사찰이나 큰 저택이 있었다. 무로마치 시대의 승려 '무소 소세키'가 만든 교토의 '사이호지'의 정원은 전형적인 '산책'형식의 정원이다.

10세기에 일본의 귀족계층들은 점차 불교의 관습에 심취하였다.'조우도'라고 하는 낙원에 대한 믿음이 확산됨에 따라 정원들도 불교의 경전이나 책자에서 묘사된 '조우도'의 이미지를 표현하기 시작하였는데 이는 고대 일본정원의 결정체가 되었다. 주로 중앙의 섬과 연결된 아치형의 다리가 있는 연못에 중점을 두었는데, 우지의 뵤도인 정원이 그 대표적 예이다. 이 절은 한때 '후지와라노미치나가'의 시골집이었다.

가마쿠라 막부에는 중국의 선종의 영향을 받은 무사계급이 성장하였는데 그들은 화려한 양식의 정원을 꾸미기보다는 조용히 정원을 감상하는 것을 더 선호하였다. 때문에 이 시기에 조경사와 '이시타테소'(바위를 배치하는 수도사)가 등장하였다. 일본정원의 황금기는 무로마치 시대. 센즈이카와라노모(산, 도랑, 강바닥을 만드는 사람들)라고 불리던 숙련된 장인들은 카레산스이(돌과 모래로만 산수를 표현한 정원) 양식의 정원을 만들었는데 선종의 영향을 많이 받아 매우 추상적이었다. 바위는 산과 폭포를, 흰모래는 흐르는 물을 상징하였다. 이러한 상징적인 정원은 중국 수묵풍경화의 영향을 받은 것으로 교토에 있는 료안지와 다이토쿠지의 바위정원이 대표적이다.

에도 시대는 그간의 수많은 형태의 정원이 통합된 카이유 형식의 정원이 유행하였다. 이는 봉건영주를 위한 것이었는데 큰 바위와 나무가 명승지의 경관을 재현하는데 쓰였고 중앙에는 연못이 있었다. 초기 에도 시대 교토의 가쓰라 별궁 정원은 전형적인 카이유 형식으로, 중앙에는 연못이 있으며 그 주위에 다도정자가 있다. 천황궁 정원도 유명한데, 17세기에 만들어진 이 정원은 오이케니와, 연못정원으로 불린다.

일본의 3대 정원으로는 이바라키현의 가이라쿠엔, 이시카와현의 겐로쿠엔, 오카야마현의 겐로쿠엔과 코라쿠엔을 들 수 있는데 모두 카이유 형식의 정원이다. 메이지 시대 초기에는 서양 정원양식이 전해져 잔디밭의 규모가 더욱 커졌다. 동경 신주쿠에 있는 교엔 국립공원이 그 좋은 예이다.