Plus un avant-poste fortifié qu'un château à proprement parler, le Château des Anglais est une ruine très photogénique qui surplombe Autoire et sa cascade ! Accessible aux randonneurs qui n'ont pas le vertige, il faut cependant faire un léger crocher si vous descendez du point de vue sur la cascade (à Loubressac) jusqu'à la cascade. Mais ça en vaut la peine !
Cet avant-poste était tenu par les Anglais d'où il tire son nom pendant la Guerre de Cent Ans, le Quercy était une zone de contact entre Anglais et Français.