Γεννήθηκε το 1898 στο χωριό Λεύκες της Πάρου. Σε ηλικία 23 ετών, μετά από κάποιο θείο όραμα που είδε, απαρνείται τον κόσμο και πηγαίνει στο Άγιον Όρος, ποθώντας να ζήσει αυστηρή ασκητική ζωή. Ήταν άνθρωπος της προσευχής. Το χάρισμα της αδιάλειπτης νοεράς προσευχής του δόθηκε από την Παναγία, όταν ήταν ακόμη δόκιμος μοναχός.
Υποτάχθηκαν μαζί με τον παντοτινό συνασκητή του, π. Αρσένιο, στον Γέροντα Εφραίμ που είχε την καλύβη του Ευαγγελισμού στα Κατουνάκια. Για περισσότερη ησυχία αποσύρθηκαν στη Σκήτη του Αγίου Βασιλείου. Μετά την κοίμηση του Γέροντός του άρχισε τους μεγάλους ασκητικούς αγώνες. Άσκησε στο έπακρο τη νηστεία, την αγρυπνία και την προσευχή. Κύριο έργο του αποτελούσε η νήψη, η τήρηση του νου. Συχνές και προσφιλείς πνευματικές καταστάσεις για τον Γέροντα ήταν η αρπαγή του νου, η θεωρία και η θέα του ακτίστου Φωτός.
Το 1938 μαζί με τον π. Αρσένιο μετακόμισαν στις απόκρημνες σπηλιές της Μικρής Αγίας Άννας. Μετά από θεία πληροφορία, το 1947, αποκτά συνοδία. Το 1951 μεταφέρθηκαν στη Νέα Σκήτη, στην καλύβη του Ευαγγελισμού της Θεοτόκου, ως την κοίμησή του που συνέβη στις 15 Αυγούστου 1959 (εορτή της Κοιμήσεως της Θεοτόκου), ενώ είχε λάβει πληροφορία από την Παναγία, ημέρες πριν, ότι θα τον πάρει στην εορτή Της.
Ο Γέροντας έζησε σε μία περίοδο παρακμής του αγιορείτικου μοναχισμού και γενικότερα του ορθοδόξου μοναχισμού, ο οποίος είχε επηρεασθεί από την κοινωνική δράση του Ρωμαιοκαθολικισμού και τον ευρωπαϊκό Διαφωτισμό. Εισήγαγε, με τον εμπειρικό τρόπο ζωής του, ξανά τη διδασκαλία του αγίου Γρηγορίου Παλαμά στον αγιορείτικο μοναχισμό. Η παρουσία του ως γνησίου εκφραστού της νηπτικής Πατερικής παραδόσεως, δημιούργησε ρεύμα προσελεύσεως στο σύγχρονο ορθόδοξο μοναχισμό. Στον μακάριο Γέροντα Ιωσήφ τον Ησυχαστή ανάγεται σήμερα η πνευματική πατρότητα έξι Ιερών Μονών του Αγίου Όρους και πολλών άλλων εντός και εκτός Ελλάδας.
Ο όσιος Γέροντας ήταν άμοιρος κοσμικής μορφώσεως, κατέστη όμως σοφός στα θεία, επειδή τα έπασχε. Έγινε ο έμπειρος, διακριτικός και απλανής οδηγός στους δρόμους της πνευματικής ζωής. Είχε την ικανότητα να αναλύει τον πολύπλοκο και δυσκολοκατανόητο πόλεμο των παθών και των δαιμόνων, να διεισδύει αλλά και να μυεί στα μυστήρια της θείας Χάριτος τους «θέλοντας σωθήναι».
