صدرت إليه الأوامر أن ينضم إلى جبهة الشام، بغية تركيز الجهود الرئيسية لقتال الروم، بعد أن كادت هذه الجبهة تتوقف عن التقدم، وبعد أن وجدت صعوبات كبيرة في القضاء على الروم. تحرك خالد من الحيرة إلى عين التمر باتجاه الشمال الغربي ماراً بوادي السرحان إلى قراقر، ثم إلى سوى حتى وصل القريتين، ومنها إلى نحو الجنوب الغربي ماراً بشرقي دمشق حتى وصل إلى اليرموك(1)، ومن المؤرخين من يعتقدون أن خالداً سار من الحيرة إلى عين التمر، والفراض، ثم انعطف نحو الغرب ماراً بـ سوى، أراك، تدمر، القريتين، أذرعات، بصرى، اليرموك(2). ومن المرجح أن يكون هذا القائد قد سلك هذه الطريق وذلك لقصرها، بغية الاتصال بقوات أبي عبيدة بسرعة، ولأن خالداً يهوى مثل هذه المغامرات التي تحقق له الفوز بمهمته، ولأنه قائد اعتاد ركوب المشقة والصعاب، ويندر على قائد غيره أن يسير بجيشه كما سار خالد.

وصل خالد إلى اليرموك بعد نصب وسغب، وعقدت القيادة اجتماعاً خرجت على أثره بإقرار تولية خالد القيادة العامة- كما أمر القائد الأعلى بذلك- للجيوش المشتركة في القتال، فقسم جيشه إلى ميمنة وميسرة وقلب واحتياط بيد القائد، وعين القادة وأسند المهام، وجدد الموجهين والقضاة والقارئين، ثم بدأ يعد التحضيرات للدخول مع الروم في معركة فاصلة، ودخل عدة معارك قبل معركة اليرموك، ولم يلبث أن جاءه خبر موت أبي بكر وتولية عمر بن الخطاب الذي قام بعزل خالد كقائد عام، وإسناد هذه المهمة إلى أبي عبيدة بن الجراح الذي كتم هذا الأمر مدة. تابع خالد معاركه تحت قيادة أبي عبيدة في فتح الشام وبخاصة في فتح دمشق، وفي فحل، ومرج الروم، وفي حمص وفي قنسرين ومرعش. وكان مثالاً للجندي، وقدوة للقادة على مر الأجيال.