Zeugnisse der Anwesenheit der Ortschaft von Scardavilla liegen 1225 zurück, als sie dem Kloster von S. Maria di Vincareto in der Nähe von Bertinoro gehörten. Das kleine Kloster von S. Maria di Scardavilla, dessen teilweise verwandelte Ruinen auch von unterer Scardavilla sichtbar sind, wird in einem Dokument aus dem Jahr 1241 besser beschreibt, wo es wird erklärt, dass die Mönche sich nicht nur dem Gebet und der Kontemplation, sondern auch dem Bestellen und der Zucht (insbesondere von Schafen und Schweinen) hingaben.
Der Name der Ortschaft kommt aus "cardus" und "villus", und er erinnern an das Kardieren des Vlieses der Schafen. Nachdem das Kloster unterschiedlichen Kongregationen gehörte, wurde es am Anfang des 16. Jahrhunderts zum Eigentum der Mönche aus Camaldoli, die schon seit der Gründung des Ordens die berühmten Wälder namens Foreste Casentinesi verwalteten.