Η φράση αυτή, λέγεται για όσους είναι άτεγκτοι, σκληροί κι αδέκαστοι και φαίνεται να ξεκίνησε από την Μάνη…Άντρες, γυναίκες και παιδιά της Μάνης, το μόνο επάγγελμα που ήξεραν να κάνουν στα παλιά τα χρόνια, ήταν τα όπλα. Για τα χωριά τους δεν έλεγαν, ότι έχουν τόσους κατοίκους, παρά τόσα τουφέκια…
Κανένας κατακτητής δεν πάτησε εκεί το πόδι του, ούτε οι Φράγκοι ούτε οι Αλβανοί. Ο ίδιος ο Ιμπραήμ, που έκαψε την Πελοπόννησο, μόνο τη Μάνη δεν μπόρεσε να πάρει.
Στα 1826 προσπάθησε να τους ξεγελάσει. Χώρισε στα δύο τον στρατό του και τράβηξε τους Μανιάτες προς τον Αλμυρό, ενώ η άλλη φάλαγγά του -από τον όρμο του Δηρού- ανέβηκε στα έρημα χωριά τους, αλλά τα γυναικόπαιδα, που βρέθηκαν εκεί, τους έδιωξαν με πέτρες και δρεπάνια. Ωστόσο, ο Ιμπραήμ, που κατάλαβε γρήγορα, ότι δεν επρόκειτο να τους νικήσει με πόλεμο, αλλά μονάχα με μπαμπεσιά, έστειλε μέσα στα χωριά της Μάνης τους κατασκόπους του, ντυμένους…καστανάδες. Αυτοί, για να πληροφορηθούν από τις γυναίκες και τα παιδιά, πού βρίσκονται κρυμμένοι οι όντρες τους, άρχιζαν να χαρίζουν τα κάστανά τους, αντί να τα πουλάνε. Αυτό έκανε εντύπωση σε όλους και τους έβαλε σε υποψία. Αμέσως τότε ειδοποίησαν για τα καθέκαστα κι ύστερα από λίγο, κατέβηκαν οι αρματολοί στα χωριά, έπιασαν τους καστανάδες και τους ανάγκασαν να ομολογήσουν την αλήθεια. Όταν οι κατάσκοποι ρώτησαν τρέμοντας, τι θα τους έκαναν τώρα που είπαν την αλήθεια, οι Μανιάτες αποκρίθηκαν: «Εμείς δεν χαρίζουμε κάστανα…».