Σύμφωνα με το ιερό συναξάρι του, γεννήθηκε στην Παλαιστίνη περί το 523. Από πολύ μικρός αγαπούσε την άσκηση και γι' αυτό νέος όντας αποσύρθηκε στην έρημο του Σινά, όπου έζησε ως ερημίτης για δεκαεννιά χρόνια. Κατόπιν εγκαταβίωσε στη Μονή του Θωλά , στην οποία πέρασε σαράντα χρόνια.
Ήταν σοφός άνθρωπος και προπαντός μεγάλος ασκητής, εφάμιλλος του μεγάλου Αντωνίου, αγίου Ευθυμίου και αγίου Σάββα. Γύρω από τον μεγάλο αυτό δάσκαλο ασκητή συγκεντρώθηκαν πολλές χιλιάδες μοναχοί, παίρνοντας από αυτόν μαθήματα πνευματικού αγώνα. Για να μπορούν οι μοναχοί να έχουν καταγραμμένες τις σοφές διδαχές και παραινέσεις του, τις κατέγραψε στο προαναφερόμενο βιβλίο του, το οποίο ονόμασε « Κλίμαξ », δηλαδή νοητή σκάλα, που ανεβάζει κλιμακωτά τον ασκούμενο άνθρωπο στην κορυφή των αρετών.
Τα υπέροχα κεφάλαια του βιβλίου της « Κλίμακος » είναι ένα από τα προσφιλή και ωφέλημα αναγνώσματα των πιστών αυτή την κατανυκτική περίοδο. Οι σοφές παραινέσεις του αγίου Ιωάννου αποτελούν πολύτιμο πνευματικό οδηγό για κλιμακωτή κατάκτηση αρετών, ώστε να υποδεχτούν τον αναστάντα Κύριο καθαροί από τους ρύπους της αμαρτίας και τη φθορά του κακού.
Το Απολυτίκιο του Αγίου Ιωάννου της Κλίμακος ψάλλει ο π.Νικόδημος Καβαρνός