تأسس نادي الأخدود الرياضي بقرار من «الرئيس العام لرعاية الشباب الأمير فيصل بن فهد» عام 1396، وكان أول مجلس إدارة له برئاسة الأمير سلطان بن أحمد السديري.
وتعاقب على رئاسة النادي منذ تأسيسه عدد من الرؤساء هم: أحمد مجلي، ومهدي هتيلة، وحمد كرحان، وعلي فلاح، وحسن وتيد، ومحمد وتيد، وحسين عايض، ومسفر وتيد، وخالد زكري، وحسين عنكيص، وجعفر سوار، وصالح كرحان، وسامي آل فاضل.
كان الأخدود في البداية يتبع تنظيمياً أندية منطقة عسير، وجرى استئجار مقر للنادي في حي أبا السعود بمنطقة نجران، وبعدها انتقل إلى حي الفيصلية حيث ضم عدداً من الشباب لممارسة الهوايات الرياضية عامة، ولعبة كرة القدم بشكل خاص، وتطور العمل، وزاد عدد الشباب المقبلين على الألعاب، وانتقل إلى مبناه الجديد عام 1402هـ.
وتقع منشأة نادي الأخدود على مساحة تُقدر بنحو 3000 م2، وتضم ملعباً لكرة القدم يتسع لـ5000 متفرج، إلى جانب ملعب إضافي مخصص لممارسة التدريبات اليومية، وإقامة بعض المباريات، وصالة رياضية مخصصة لألعاب كرة اليد وكرة السلة وكرة الطائرة وكرة الطاولة، وعدد من الألعاب الفردية، وملاعب مكشوفة لكرة اليد والتنس الأرضي والكرة الطائرة، وحلبة للملاكمة.
ويُعدّ الأخدود الأقدم من حيث التأسيس على مستوى أندية منطقة نجران، ويُعدّ الصعود إلى دوري المحترفين عام 2023 السعودي الإنجاز الأهم في تاريخ النادي الجنوبي، ويسعى لأن يكلل ذلك بوضع بصمته بين الكبار عندما يدخل مرحلة التخصيص التاريخية.
وصعد الأخدود للمرة الأولى إلى دوري الدرجة الأولى عام 1993، لكنه عاد سريعاً إلى الثانية، وفي عام 2021 عاد إلى دوري الدرجة الأولى للمرة الثانية.
قدم الأخدود أسماء كبيرة للكرة السعودية؛ من أبرزها الحسن اليامي، ومحمد السويلم، وفارس الزهراني، وفهد الخليوي، وسالم الزحوف، وعبد الله نصيب، وحمد الصقور، ومحمد الربيعي.