Στη σκιά του ενοριακού ναού της Παναγιάς αλλά και της Κοινότητας του χωριού, βρίσκεται το πέτρινο εκκλησάκι του Αγίου Αβερκίου που εορτάζει σήμερα 22 Οκτωβρίου.
Ο Άγιος Αβέρκιος είναι ένας από τους λιγότερους γνωστούς Αγίους της Εκκλησίας. Στην Κυψέλη πίσω ακριβώς από τον ενοριακό ναό του χωριού υπάρχει μια μικρή πετρόκτιστη εκκλησούλα αφιερωμένη στη μνήμη του, η οποία είναι και η μοναδική στην Αίγινα. Ενδεχομένως να είναι και η μοναδική σε όλη την Ελλάδα. Αν κάποιος δεν γνωρίζει την ύπαρξη της είναι δύσκολο να την ανακαλύψει διότι είναι στην κυριολεξία χωμένη ανάμεσα στα κτίρια του ναού και της Κοινότητας και σε πιό χαμηλό επίπεδο.Ο ναός αναφέρεται ότι είναι πολύ παλαιός. Στον περίβολό του ήταν θαμμένοι παλαιοί ιερείς του χωριού. Με τη δημιουργία κοιμητηρίου στους Αγίους Θεοδώρους τα οστά τους μεταφέρθηκαν εκεί. Σήμερα το ναΰδριο χρησιμοποιείται ως παρεκκλήσιο και εξυπηρετεί ανάγκες του μεγάλου ναού.
Τον τελευταίο χρόνο δέχθηκε τις ευεργετικές εργασίες συντήρησης από τον εφημέριο π. Νεκτάριο Κουκούλη και τους επιτρόπους του ναού. Τακτικά το έργο επέβλεπε ο Σεβασμιώτατος Μητροπολίτης κ. Εφραίμ ο οποίος καθοδηγούσε και ευλογούσε τις εργασίες.
Σήμερα το μικρό ναΰδριο είναι ένα κόσμημα και μπορεί να φιλοξενήσει ακολουθίες με λίγους πιστούς, κύκλο μελέτης Αγίας Γραφής ή ολιγομελή τμήματα Κατηχητικών Σχολείων ή ακόμα και το μυστήριο της Θ. Εξομολογήσεως.
Ο Όσιος Αβέρκιος έζησε στα τέλη του 2ου αιώνα μ.Χ. Η άμεπτη ζωή του και η καρποφορία της διδασκαλίας του, παρακίνησαν το ποίμνιο να τον αναγκάσει να γίνει επίσκοπος Ιεραπόλεως στη Φρυγία. Το αξίωμα δε μείωσε το ζήλο του Αβερκίου. Έλεγε, μάλιστα, ότι δεν αρκεί κάποιος να φαίνεται άρχων, αλλά και να είναι πραγματικά. Δηλαδή να αυξάνει τη διακονία και τους κόπους του. Διότι κατά το Ευαγγέλιο, «εἰ τις θέλει πρῶτος εἶναι, ἔσται πάντων ἔσχατος καὶ πάντων διάκονος» (Ευαγγέλιο Μάρκου, θ' 35), που σημαίνει, αν κανείς θέλει να είναι πρώτος κατά την τιμή, οφείλει με την ταπείνωση του απέναντι στους άλλους, να γίνει τελευταίος από όλους και υπηρέτης όλων με την άσκηση της αγάπης. Και ο Αβέρκιος την εντολή αυτή έκανε πράξη στη ζωή του. Γι' αυτό και ο Θεός του έδωσε το χάρισμα να κάνει πολλά θαύματα. Θεράπευσε την κόρη του βασιλιά της Ρώμης, από πονηρό δαιμόνιο. Θερμά νερά από τη γη εξέβαλε και άλλα πολλά θαύματα έκανε. Επίσης, ο Αβέρκιος κήρυξε σε όλες τις πόλεις της Συρίας και Μεσοποταμίας. Έπειτα πήγε στη Λυκαονία, την Πισιδία και στην επαρχία των Φρυγών. Ονομάστηκε ισαπόστολος, διότι περιόδευσε και κήρυξε όπως οι κορυφαίοι Απόστολοι του Χριστού. Πέθανε ειρηνικά, 72 χρονών.