Γεννήθηκε στη Μέκκα το 592 και ανήκε στην ειδωλολατρική φυλή των Κουραϊσιτών. Ο πατέρας του ήταν γνωστός έμπορος της πόλης και τον συνόδευε συχνά στα ταξίδια του. Έτσι είχε την ευκαιρία να έρθει σε επαφή με όλους τους σημαντικούς πολιτισμούς της τότε εποχής. Είχε την πολεμική εκπαίδευση που λάμβαναν όλοι οι άρρενες της φυλής και ήξερε να παλεύει, να τοξοβολεί, να ξιφομαχεί και να ιππεύει. Έμεινε γνωστός στους Άραβες με το προσωνύμιο που του έδωσε ο ίδιος ο Μωάμεθ, δηλαδή "Ρομφαία του Ισλάμ". Ήταν μια από τις κορυφαίες στρατιωτικές προσωπικότητες της Ιστορίας, καθώς πήρε μέρος σαν ανώτατος αξιωματικός σε πολλές μάχες, στις οποίες διακρίθηκε. Ο Γκίμπον στο έργο του "Παρακμή και πτώση της Ρωμαϊκής αυτοκρατορίας" τον χαρακτηρίζει ως τον "πιο θαρραλέο και επιτυχημένο από όλους τους Άραβες πολεμιστές".
Αρχικά πολέμησε εναντίον του Μωάμεθ, πιστός στην ειδωλολατρική θρησκεία της φυλής του, αλλά σε ηλικία 43 ετών ασπάστηκε το Ισλάμ, δηλώνοντας υποταγή στον Αλλάχ και τον Προφήτη του Μωάμεθ, και έφυγε για να μείνει μόνιμα στη Μεδίνα. Μετά από τρεις μήνες στη Μεδίνα πήρε μέρος στη πρώτη πολεμική επιχείρηση, τη μάχη του Μουτάχ, ως απλός στρατιώτης για λογαριασμό των μουσουλμάνων. Η μάχη αυτή κατέληξε σε ήττα για τους μουσουλμάνους αλλά σε προσωπική επιτυχία του Χαλίντ, που πολέμησε με θάρρος και σκότωσε πολλούς εχθρούς. Τότε ο Μωάμεθ τον αποκάλεσε "η ρομφαία του Ισλάμ", προσωνύμιο με το οποίο έγινε ευρύτερα γνωστός. Πολέμησε με επιτυχία και κατά της φυλής του, κατά την είσοδο του Μωάμεθ στη Μέκκα, το 630. Από τότε πολέμησε σε όλες τις σημαντικές μάχες που έδωσαν οι μουσουλμάνοι. Όταν πέθανε ο Μωάμεθ και ανέλαβε ο Αμπού Μπακρ ως ο χαλίφης των μουσουλμάνων, ο Χαλίντ έγινε στρατηγός που πολέμησε σε μάχες κατά αποστατών και διακρίθηκε στην περίφημη "μάχη των αλυσίδων".
Όταν δεύτερος χαλίφης μετά το θάνατο του Αμπού Μπακρ ανέλαβε ο Ομάρ ιμπν αλ-Χαττάμπ, καθαίρεσε τον Χαλίντ από στρατηγό, αλλά εκείνος εξακολούθησε να προσφέρει τις υπηρεσίες του, από κατώτερη θέση. Ήταν παρών στις μάχες για την κατάληψη της Δαμασκού, στην Έμεσσα, την Ιερουσαλήμ, το Χαλέπι και την Αντιόχεια. Ήταν ο πρώτος στρατιωτικός διοικητής της Συρίας και της Παλαιστίνης. Το 638 κατηγορήθηκε για σπατάλες, άσωτη ζωή και παραβίαση κανόνων του Κορανίου. Ο χαλίφης Ομάρ τον απέταξε από το στρατό, του κατάσχεσε την περιουσία και ο Χαλίντ γύρισε για να περάσει τα υπόλοιπα χρόνια της ζωής του, σαν απλός μουσουλμάνος πλέον, στην Έμεσσα. Πέθανε το 642 σε ηλικία 58 ετών.
Μία από τις πιο σημαντικές μάχες στις οποίες συμμετείχε, όπου αντιμετώπισε τον βυζαντινό αυτοκράτορα Ηράκλειο, ήταν η μάχη του Γιαρμούκ.