Lâu đài Clos Lucé nằm cách Lâu đài Amboise (Château d’Amboise) của hoàng gia khoảng 500 mét, và kết nối bằng một đường hầm. Lâu đài Amboise nhìn ra dòng sông Loire của Amboise, là nơi ở cũ của các quốc vương Pháp thời Phục hưng; nhưng trước khi được gắn với vương miện hoàng gia từ năm 1434, Lâu đài Amboise thuộc về gia tộc Amboise hùng mạnh trong hơn bốn thế kỷ.

Gia tộc Amboise là một trong những dòng dõi quý tộc lâu đời ở Pháp, lấy tên từ thị trấn Amboise ở Touraine và duy trì chế độ nối dõi từ thế kỷ XII – với Hugues d’Amboise (1055 – 1129) là Lãnh chúa xứ Touraine đầu tiên. Ngôi nhà tiền thân của Lâu đài Clos Lucé có tên là Lâu đài Cloux (Château de Cloux), vốn là một phần của Lâu đài Amboise. Vùng đất có tên Lucé được sáp nhập vào khuôn viên của Lâu đài Cloux từ thế kỷ XIV. Lâu đài Cloux đã được một thành viên chi nhánh của gia tộc Amboise xây dựng trên nền tảng kiến trúc Gallo-Roman. Khi đó, cấu trúc ngôi nhà bao gồm một tòa tháp hình bát giác, bên trong có một cầu thang xoắn ốc, xung quanh là hai tòa nhà hai tầng. Mặt tiền trang nhã được làm bằng gạch hồng và đá trắng là điển hình của thế kỷ XV.

Chính thức vào ngày 26 tháng 5 năm 1471, Lâu đài Cloux được bán cho cựu quý tộc Etienne le Loup, một cận thần (hoặc Cố vấn) của Louis XI (1423 – 1483) và là một viên chức làm việc cho giáo xứ Amboise. Etienne le Loup đã tái xây dựng tòa nhà, với tường gạch và đá tuffeau (đá vôi trắng bản địa ở thung lũng Loire), cũng như một trong những chuồng chim bồ câu đặc trưng của Pháp vẫn được giữ nguyên vẹn.

Vào ngày 2 tháng 7 năm 1490, Charles VIII mua lại tòa lâu đài từ Etienne Le Loup và biến thành trì thời Trung cổ này thành một dinh thự tiện nghi và phù hợp để sinh sống hơn. Ông cũng xây dựng một nhà nguyện cho vương hậu của mình, Anne xứ Brittany, và bà đã sống ở Lâu đài Cloux cho đến khi chuyển đến Lâu đài Hoàng gia Blois (Château royal de Blois) nằm ở tỉnh Loir-et-Cher, cũng thuộc thung lũng Loire. Cloux đã được biết đến như một “Dinh thự mùa hè” của hoàng gia Pháp trong 200 năm.

Ở tuổi 64, Leonardo da Vinci rời Rome và du hành khắp nước Ý, hành trang của ông ngoài những cuốn sổ ghi chép và bản thảo, còn có 3 bức tranh mà ngày nay được biết đến là những kiệt tác nổi tiếng nhất của ông: “Mona Lisa”, “The Virgin and Child, with St. Anne” và “St. John the Baptist” – tất cả hiện đang được lưu giữ tại Bảo tàng Louvre, Paris, Pháp. Các học trò của Leonardo da Vinci là Francesco Melzi và Salaì, cũng như người hầu là Baptista de Vilanis, đều theo chân ông trong suốt chuyến du hành. Cùng năm này, quốc vương François I (1494 – 1547) của Pháp đã tặng cho Leonardo da Vinci một khoản tiền bảo trợ, mua một số tác phẩm nghệ thuật (trong đó có “Mona Lisa”), ngỏ lời mời Leonardo da Vinci đến sống và làm việc ở Pháp, đồng thời phong cho ông Lâu đài Cloux. Leonardo da Vinci từ đó được mệnh danh là “Họa sỹ, kỹ sư và kiến trúc sư đầu tiên của quốc vương” (François I bắt đầu cai trị từ năm 1515). Nhà thông thái già đã sống những năm cuối đời ở Cloux cho đến khi tạ thế vào ngày 2 tháng 5 năm 1519.

Vào cuối thế kỷ XVII, Lâu đài Cloux được đổi tên thành Lâu đài Clos Lucé (Château du Clos Lucé). Sau đó nó được chuyển về tay của thành viên thuộc gia tộc Amboise, người đã cứu nó khỏi bị phá hủy trong Cách mạng Pháp. Dòng dõi nhà Amboise kết thúc khi François-Jacques, bá tước của vùng Aubijoux, qua đời vào ngày 9 tháng 11 năm 1656. Về sau, Lâu đài Clos Lucé trở thành tài sản của nhà Saint Bris vào năm 1854.