Το τμήμα καλαθόσφαιρας ιδρύθηκε το 1924-25. Το 1928 διεξήχθη το πρώτο Πανελλήνιο πρωτάθλημα μπάσκετ και ο Ηρακλής που έστειλε την ομάδα της Αμερικάνικης Γεωργικής σχολής θριάμβευσε και αναδείχθηκε πρώτος. Η ομάδα απαρτιζόταν από τους Ελευθεριάδη, Αμπατζιόγλου, Ιωαννίδη, Μπορυρτζιάνο και Όνικ και κέρδισε τη Ναρ Ηστ 37-19, την ΑΕΚ 33-6 και το ΒΑΟ 26-28. Ο Αμπατζιόγλου Γεώργιος υπήρξε μαζί με τον Μαυροσκούφη ένα από τα δεκατρία ιδρυτικά μέλη της παγκόσμιας ομοσπονδίας μπάσκετ FIBA, υπογράφοντας το πρακτικό ίδρυσης της το 1932!

Μετά από μερικά χρόνια, το 1935, οι παίκτες που αποτελούσαν τη σπουδαία ομάδα της ΧΑΝΘ πήραν ομαδικά μεταγραφή στον Ηρακλή και μαζί με τους υπάρχοντες αθλητές δημιούργησαν μια μεγάλη ομάδα. Οι παίκτες Μαντόπουλος, Νανές (που έπαιξε και στον πρώτο αγώνα της Εθνικής Ελλάδας), Αδαμίχου, Καπήλου, Παπαγιάννης και Πολυμέρης κατέκτησαν το δεύτερο πρωτάθλημα του Ηρακλή νικώντας 110-40 τον Πανιώνιο (η πρώτη κατοστάρα στην Ελλάδα), 72-45 τον Πανελλήνιο και 2-0 τον Πειραϊκό.  Την επόμενη χρονιά ο Ηρακλής κατέκτησε το πρωτάθλημα Θεσσαλονίκης αλλά έχασε από τη Νήαρ Ηστ στον τελικό του Πανελληνίου πρωταθλήματος 23-17.

Στις δεκαετίες του 1940 και 1950 σε πανελλήνιο επίπεδο, η καλύτερη θέση που κατέκτησε ο Ηρακλής ήταν η έκτη θέση το 1946-47 και το 1958-59. Την αγωνιστική περίοδο 1960-61 ο Ηρακλής μαζί με τον Σπόρτινγκ και τον Παναθηναϊκό ισοβάθμησε στην πρώτη θέση του Πανελληνίου πρωταθλήματος. Αποφασίστηκε να διεξαχθούν αγώνες μπαράζ μεταξύ των τριών ομάδων. Ο Ηρακλής διαμαρτυρήθηκε γιατί η επιτροπή μπάσκετ του ΣΕΓΑΣ έκρινε νόμιμη τη συμμετοχή ενός Αιγυπτιώτη αθλητή του ΠΑΟ και αποσύρθηκε από τους αγώνες.Την επομένη αγωνιστική περίοδο 1961-62 ο Ηρακλής τερμάτισε δεύτερος πίσω από τον Παναθηναϊκό και κατέκτησε το πρωτάθλημα Θεσσαλονίκης.

Το 1963-64 δημιουργήθηκε η Α’ Εθνική κατηγορία και ο Ηρακλής ισοβάθμησε στην κορυφή με την ΑΕΚ έχοντας 13 νίκες και 5 ήττες άλλα έχασε στον αγώνα μπαράζ και τερμάτισε δεύτερος. Το 1972, ένας αθλητής του Ηρακλή ο Αριστείδης Μούμογλου («τριάρι» της εποχής) πέτυχε το παγκόσμιο ρεκόρ πόντων (Guiness book of records) σημειώνοντας 143 πόντους στο παιχνίδι Ηρακλής – ΒΑΟ 172-94. Συμπαίκτες του σε εκείνο το παιχνίδι και οι γνωστοί σήμερα Κιουμουρτζόγλου, Μπογατσιώτης και Στέλιος Συμεωνίδης.

Στην εθνική κατηγορία ο Ηρακλής είχε τις εξής θέσεις:

1963-64 2^ος (13-5) Μπούσιος δευτερος σκόρερ του πρωταθλήματος και Μούμογλου τρίτος. Πρώτη κατοστάρα της Α’εθνικής στο Ηρακλης – ΧΑΝΘ 108-75. (ΜΠΟΥΣΙΟΣ, ΜΟΥΜΟΓΛΟΥ, ΜΠΟΓΑΤΣΙΩΤΗΣ, ΤΡΥΦΕΡΗΣ, ΣΙΜΙΡΔΑΝΗΣ, ΒΟΓΙΑΤΖΗΣ, ΒΛΑΧΟΠΟΥΛΟΣ)

1964-65 7^ος (7-11)

1965-66 8^ος (7-11)

1966-67 11^ος (7-16) προτελευταίος, πέφτει Β’ κατηγορία

1967-68 Β’ κατηγορία

1968-69 8^ος (8-14)

1969-70 10ος (7-15).

1970-71 9^ος (10-16)

1971-72 7^ος (13-13). Ρεκόρ Μούμογλου που ήταν και πρώτος σκόρερ του πρωταθλήματος.

1972-73 6^ος (13-13)

1973-74 11^ος (6-16). Η ομάδα έπεσε μετά από σφαγή στον τελευταίο αγώνα με το Μαρούσι.

1974-75 Β’ κατηγορία

1975-76 6^ος (11-11)

1976-77 12^ος (6-16)

1977-78 Β’ κατηγορία

1978-79 8^ος (10-16)

1979-80 7^ος (8-14)

1980-81 5^ος (15-11) Συμμετοχή στον τελικό κυπέλλου

Γλυφάδα 17 Ιουλίου 1981

ΑΕΚ-Ηρακλής 84-78 (44-31)

(Κιουμουρτζόγλου): Καρατζουλίδης 29, Τζάμος 13, Πασιούδης 11, Αγραφιώτης 8, Δουβής 8, Τσουμής 5, Μαντής 4, Ναλμπάντης, Τσομπανάκης, Μουρατίδης.

1981-82 4^ος (17-9) coach Κιουμουρτζόγλου (παίκτες Καρατζουλίδης, Τσουμής, Πιλαφίδης, Σακελλαρίου, Τσουμής, Τζάμος)

1982-83 6^ος (15-11)

1983-84 8^ος (12-14)

1984-85 5^ος (16-10)

1985-86 7^ος (12-14)

1986-87 5^ος (9-9 4^ος στην κανονική διάρκεια του πρωταθλήματος)

1987-88 7^ος (6-12) Εγκαίνια ΙΒΑΝΟΦΕΙΟΥ

1988-89 5^ος (8-10). Ιγκραμ 2^ος σκόρερ στο πρωτάθλημα

1989-90 4^ος (13-9) coach Μαρκόπουλος, Ιγκραμ 2^ος σκόρερ στο πρωτάθλημα

Πεντάδα Κακιούσης, Ιγκραμ, Παναγιωτίδης, Παπαδόπουλος, Τσεκος

1990-91 4^ος (13-9) coach Γιαντζόγλου,  Ιγκραμ 2^ος σκόρερ στο πρωτάθλημα

Πεντάδα Κακιούσης, Ιγκραμ, Παναγιωτίδης, Παπαδόπουλος, Τσεκος

1991-92 6^ος

1992-93 8^ος

1993-94 6^ος (Κακιούσης, Ζντοβς, Παπαδόπουλος, Παπαχρόνης, Ντοναλντσον).

ΤΕΛΙΚΟΣ ΚΥΠΕΛΛΟΥ ΣΕΦ. Ολυμπιακός-Ηρακλής 63-51 (26-22)

(Σάκοτα): Χωλόπουλος 6, Κακιούζης 6, Ντόναλτσον 8, Παναγιωτίδης 2, Αστεριάδης, Κούβελας 11, Ζντοβτς 10(1), Ταμπάκης 5, Σταυρόπουλος 3(1), Χατζόπουλος

1994-95 3^ος  Coach ΣΟΥΜΠΟΤΙΤΣ (Κακιούσης, Ζντοβς, Κουντουράκης, Παπαχρόνης Μπέρι, Χολώπουλος, Μωραίτης, Αστεριάδης, Ταμπάκης, Κούβελας, Παναγιωτίδης, Γιανουζάκος). Στους 4 του Ευρωπαικού Κυπέλλου.

1995-96 9^ος Κακιούσης, Ζντοβς, ΜακΝτάνιελ, Παπαχρόνης, Μπρόυγος…Ταρπλευ). Στους 16 του ΠΡΩΤΑΘΛΗΤΡΙΩΝ ΕΥΡΩΠΗΣ.

ΤΕΛΙΚΟΣ ΚΥΠΕΛΛΟΥ: Παναθηναϊκός-Ηρακλής 85-74 (47-27) 

(Γιατζόγλου): Κακιούσης 10, Μακ Ντάνιελ 23(2), Αγγέλου, Αστεριάδης, Γιαννουζάκος 14(2), Κουντουράκης, Μωραίτης, Κούβελας, Μπρούγος 6, Τάρπλεϊ 21.

1996-97 11^ος Στους 4 του Ευρωπαϊκού Κυπέλλου (Μικ, Κακιούσης, Σαλστρομ, Μπακναλ) Ομάδα διαλυμένη που την έσωσε ο coach Σλαβνιτς.

1997-98 11^ος Μαξει, ΤΟΜΠΣΟΝ, Ναχαρ, Γιανουζάκος, Μαματζιόλας, Ποδαράς…

1998-99 6^ος Dinkins, Buck Johnson, Χατζηβρέτας, Παπαδόπουλος, Γιανουζάκος

1999-2000 7^ος στο πρωτάθλημα, στους 8 του Σαπόρτα. Dinkins, Buck Johnson. Ελις Χατζηβρέτας, Παπαδόπουλος

2000-01 6^ος (Καρασεφ, Χατζηβρέτας, Νακιτς, Καραγκουτης, Παπαδοπουλος). Συμμετοχή στην SUPROLEGUE λόγω Εμφιετζόγλου όπου η ομάδα έφτασε στους 16 του θεσμού.

2001-02 4^ος  Coach ΠΙΛΑΦΙΔΗΣ-ΜΟΥΡΑΤΙΔΗΣ με σύνθεση Μπλάκνει, Χατζηβρέτας, Γιαννουζάκος, Καράγκουτης, Μικ (Διαμαντίδης, Παπαιωακείμ). Ο Χατζηβρέτας πρώτος σκόρερ στο πρωτάθλημα. Η ομάδα προκρίνεται στην Ευρωλίγκα αλλά αδυνατεί να συμμετάσχει λόγω οικονομικών προβλημάτων.

2002-03 9^ος με σύνθεση Διαμαντίδης, Ηλιάδης, Μπάκναλ, Παυλίδης, Σκορτσιανίτης

2003-04 3^ος Coach ΚΑΚΙΟΥΣΗΣ με σύνθεση Διαμαντίδης, Ηλιάδης, Μπάκναλ, Παυλίδη, Παπαδόπουλο Λ. (Δέδας, Κούβελας, Καλαιτζίδης, Αποστολίδης, Μιλοσεβιτς, Σφέικος, Λυμπάρης, Βάθης)

Συνολικά η ομάδα έχει 2 πρωταθλήματα (1928, 1935), 3 δεύτερες θέσεις (1936, 1962, 1964), 3 τρίτες θέσεις (1961, 1995, 2004) και 4 τέταρτες θέσεις (1982, 1990, 1991, 2002). Στο Κύπελλο Ελλάδος έχει συμμετάσχει ανεπιτυχώς σε 3 τελικούς (1981, 1994, 1996).

Στην Ευρώπη η ομάδα έχει συμμετάσχει 2 φορές στους 16 της Ευρωλίγκας (Ευρωπαϊκό Πρωτάθλημα 1996, Σουπρολίγκα 2001) και 2 φορές στα ημιτελικά του Ευρωπαϊκού Κυπέλλου (1995, 1997). Μεγάλα ονόματα αντιπάλων ομάδων όπως η Μπαρτσελόνα, η Μακαμπί και η ΤΣΣΚΑ Μόσχας, έχουν αναμετρηθεί με τον Ηρακλή. Μεγάλες νίκες ήταν αυτή κόντρα στην Μακαμπί, τον Ερυθρό Αστέρα, την Βαρέζε, την Ρίγα και την Χαποελ. Μεγάλοι αντίπαλοι παίκτες ο Σαμπόνις, ο Οσκαρ Σμιτ (που δήλωσε ότι ο Ηρακλής έχει τους καλύτερους φιλάθλους της Ευρώπης), ο Σαν Επιφάνιο, ο Βιγιακάμπα, ο Τιχονένκο, ο Τκατσένκο…