Γεννήθηκε στην Ιρλανδία και μεγάλωσε στην Κομητεία Κορκ. Περίπου στην ηλικία των εννέα, παρακολούθησε τον Έλβις Πρίσλεϋ σε τηλεοπτική του εμφάνιση και έκτοτε αποφάσισε ν' ασχοληθεί με την κιθάρα, μελετώντας μόνος του. Στα δώδεκά του χρόνια κέρδισε σ' ένα διαγωνισμό την πρώτη του ηλεκτρική κιθάρα. Έφηβος ακόμα άρχισε να παίζει διασκευές σε επιτυχίες της εποχής και να εμφανίζεται με το πρώτο του συγκρότημα, τους Fontana Showband, ως support act σε διάφορα άλλα συγκροτήματα. Στα δεκαέξι του, σχημάτισε τη δική του μπλουζ μπάντα, τους Impact, με τους οποίους έπαιξε στη Γερμανία και την Ισπανία κατά το '65 και '66. Σ΄αυτές τις περιοδείες, ανάμεσα στον εξοπλισμό του, διέθετε και τη Battered Strat, τη Stratocaster που θα τον συντρόφευε σε όλη την υπόλοιπη καριέρα του, και που αγόρασε σε κάποιο κατάστημα στο Κορκ το 1961. Η κιθάρα λέγεται ότι ήταν η πρώτη του είδους της στην Ιρλανδία. Την είχε παραγγείλει κάποιος άλλος showband μουσικός και ο οποίος άλλαξε γνώμη καθώς δεν του άρεσε το χρώμα. Έτσι, η κιθάρα κατέληξε στα χέρια του Ρόρυ για μόλις εκατό λίρες.
Πριν κλείσει τα είκοσι του χρόνια, έγινε παγκόσμια γνωστός με τους Taste, συγκρότημα που σχηματίστηκε το 1966 από τον ίδιο και τους Τζον Γουίλσον και Ρότσαρντ ΜακΚράκεν. Κυκλοφόρησαν δυο lp's, τα Taste και On the boards και δυο ζωντανά άλμπουμ, τα Live at Montreux και Live at the Isle of Wight), ενώ συμμετείχαν σε μερικά απ' τα σημαντικότερα ευρωπαϊκά φεστιβάλ της εποχής όπως και περιόδευσαν στην Αμερική.
Οι Taste διαλύθηκαν το 1970 κι ο Ρόρυ ξεκίνησε την προσωπική του καριέρα του μαζί με άλλους μουσικούς, όπως ο μπασσίστας Τζέρι Μακαβόι, με τον οποίο θα συνεργαζόταν για το μεγαλύτερο μέρος της και με τον ντράμερ Γουίλγκαρ Κάμπελ. Το 1971 πρωτοεμφανίστηκε στην προσωπική του δισκογραφία μ' τον δίσκο που έφερε ως τίτλο τ' όνομά του. Ο δίσκος αυτός έφτασε στο Νο 40 της Βρετανίας, ενώ παράλληλα άρχισε να περιοδεύει στην Ευρώπη και στην Αμερική, συναυλιακή δραστηριότητα που θα εξακολουθούσε έως και το τέλος της ζωής του. Η κυκλοφορία με τις ηχογραφήσεις από την ευρωπαϊκή περιοδεία του 1972, με τίτλο Live In Europe γνώρισε μεγάλη επιτυχία, όπως κι εκείνη στην Ιρλανδία του 1973-74, με τίτλο Irish Tour '74 η οποία μεταφέρθηκε, με τον ομώνυμο τίτλο, κινηματογραφικά ταινία από το σκηνοθέτη Τόνυ Πάλμερ, σε ταινία. Το 1972, ο Ρόρυ συμμετείχε στην ηχογράφηση των "London Sessions" των Μάντι Γουότερς και Τζέρι Λι Λιούις. Ο Γουότερς τον κάλεσε ξανά το 1974, για τις ανάγκες της ηχογράφησης του London Revisited.
Στη συνέχεια ακολούθησε μια σειρά επιτυχημένων δίσκων. Το 1975 υπέγραψε συμβόλαιο με την Chrysalis, κυκλοφορώντας την αμέσως επόμενη χρονιά το "Calling Card", ο οποίος θεωρείται ο κορυφαίος δίσκος του, σε παραγωγή του μπασίστα των Deep Purple, Ρότζερ Γκλόβερ. Η κυκλοφορία αυτή όμως, όπως και η συνέχεια της καριέρας του, επισκιάστηκε από την επερχόμενη έκρηξη του πανκ, γεγονός όμως το οποίο δεν τον εμπόδισε να συνεχίσει να κυκλοφορήσει πολύ καλούς δίσκους, όπως τα Top Priority και Photo Finish.
Ενώ ο Ρόρυ συνέχισε να εμφανίζεται ζωντανά σε όλο τον κόσμο, οι δισκογραφικές παρουσίες του έγιναν αραιότερες κατά τη δεκαετία του '80. Στις 12 Σεπτέμβρη του 1981 εμφανίστηκε στην Ελλάδα, στο γήπεδο της Νέας Φιλαδέλφειας. Η συναυλία, μια απ' τις πρώτες εμφανίζεις ξένων καλλιτεχνών που συνέβησαν στη χώρα, είχε 40.000 θεατές και συνοδεύτηκε από σοβαρά επεισόδια, από τη Φιλαδέλφεια έως τον Περισσό, με τις αστυνομικές δυνάμεις. Σύμφωνα με την περιγραφή του Ρόρυ: Ήμασταν βρεγμένοι, τα μάτια μας δάκρυζαν κι όλοι φοβηθήκαμε. Η συναυλία από μόνη της ήταν καταπληκτική. Αλλά ήταν επικίνδυνη. Απλά δεν ήθελα να πεθάνω σ ένα γήπεδο ποδοσφαίρου στην Ελλάδα, χωρίς να ξέρω καν τι συνέβαινε.... Την επόμενη μέρα, ο τύπος κυκλοφόρησε με πρωτοσέλιδα και τίτλους όπως "Κάηκε ή Νέα Φιλαδέλφεια από τους ροκάδες". Η συναυλία αργότερα κυκλοφόρησε σε bootleg έκδοση με τον τίτλο Live in Athens.
Το 1985, ο Ρόρυ ίδρυσε τη δισκογραφική εταιρεία, Capo records, μέσω της οποίας κυκλοφόρησε δυο ακόμα δίσκους. Η υγεία του στα τέλη της δεκαετίας είχε αρχίσει να κλονίζεται, γεγονός όμως που δεν τον εμπόδισε να συνεχίσει να εμφανίζεται ζωντανά, ακόμα και λίγο πριν την κατάληξή του. Η τελευταία του εμφάνιση συνέβη στις 10 Ιανουαρίου 1995, στο Nighttown-theatre, στην Ολλανδία Τον Απρίλιο, λόγω των χρόνιων προβλημάτων του με το αλκοόλ, υποβλήθηκε σε μεταμόσχευση ήπατος στο στο King's Hospital του Λονδίνου. Έπειτα από επιπλοκές, κατέληξε στις 14 Ιουνίου του 1995. Η σωρός του βρίσκεται στο κοιμητήριο Saint Oliver, στο Κορκ της Ιρλανδίας. Ο τάφος του κοσμείται από πέντε χρυσές ακτίνες, μια εκ των οποίων φέρει το ακριβές μήκος και τα τάστα της Fender του.
Ο Ρόρυ Γκάλαχερ θεωρείται ένας απ' τους κορυφαίους κιθαρίστες της λευκής μπλουζ μουσικής, τόσο για τα ζωηρά του σόλο και τις καινοτόμες ιδέες στη σύνθεση, όσο και για το πάθος και τη δεξιοτεχνία της τραγουδιστικής του ερμηνείας. Πολλοί σύγχρονοι κιθαρίστες της ροκ και της μπλουζ τον θεωρούν ως την κύρια επιρροή τους. Ακόμα, θεωρείται μια από τις πιο σεμνές και συνεπείς παρουσίες της ροκ μουσικής. Χαρακτηριστικό παρουσιάζεται το εξής γεγονός: Το 1976, το τραγούδι του Edged In Blue είχε γίνει πολύ δημοφιλές στην Αμερική και η αποσπασματική κυκλοφορία του ως single θεωρείτο σίγουρο ότι θα χάριζε ακόμα πλατύτερη επιτυχία στο δημιουργό της. Ο Ρόρυ αρνήθηκε να το κυκλοφορήσει σαν single, αντιμετωπίζοντας τη δισκογραφική του δουλειά Calling Card ως αδιάσπαστο και ενιαίο σύνολο. Το 1974 επίσης, αρνήθηκε πρόταση να γίνει εισχωρήσει στους Rolling Stones καθώς πίστευε ότι κάτι τέτοιο θα ερχόταν σε αντίθεση με την αντίληψή του για τη μουσική. Συμμετείχε όμως σε μερικά από τα μεγαλύτερα ονόματα της μπλουζ, όπως οι Μάντι Γουότερς, Άλμπερτ Κόλινς, Τζέρι Λι Λιούις, Λόνι Ντόνεγκαν και Αλέξις Κόρνερ. Καθ' όλη τη διάρκεια της μουσικής του διαδρομής, δε σταμάτησε να τοποθετεί πάνω απ' όλα, ακόμα και από την προσωπική του ζωή και την υγεία του, εκείνο που θεωρούσε ότι τον ολοκλήρωνε ως καλλιτέχνη και ως άνθρωπο: την αγάπη του για τα μπλουζ και το πάθος του να παίζει μουσική.
