Les jardins du XVIIe siècle, représentés sur une gravure dite de Claude Chastillon, étaient vastes et orientés parallèlement à la Dordogne. Détruits au cours des ans, abandonnés puis remplacés par des prairies, ils ont été recréés en 1938 avec un dessin plus simple, mais toujours régulier, de parterres à la française par l’architecte paysagiste Louis-Ferdinand Duprat. Outre un jardin à la française et un jardin médiéval, Vayres présente un patrimoine naturel environnemental unique grâce à son implantation en bordure de rivière, la ripisylve, forêt de bord de l’eau, crée un paysage où l’intervention humaine est minimalisée. Des plantes rares et protégées se sont invitées là, comme l’Angélique des estuaires ou la fragile fritillaire. Elles côtoient des arbres remarquables, chênes et cèdres quadri-centenaires.