بهوندي بناء أنظمة ذكية
العودة إلى المدونة

ملاحظات الاستوديو

الاختبار الرجعي المضلِّل: لماذا يخسر روبوت التداول في السوق الحقيقية بعد أن ربح على بيانات الماضي

على بيانات عشوائية بدت أفضل استراتيجية من 174 رابحة في الاختبار الرجعي ثم هبطت للصفر. اعرف الإفراط في التوفيق وتحيّز المستقبل والبقاء، واختبر بـwalk-forward.

مرآة جانبية لسيارة تعكس الطريق خلفها، وفي سماء المرآة منحنى رأس مال فيروزي أملس صاعد، يتحول بعد خط عمودي متقطع إلى خط أحمر متعرج هابط

أجريت تجربة بسيطة. ولّدت أسعاراً يومية وهمية لعشر سنوات، عشوائية بالكامل. لا يوجد في هذه البيانات أي نمط، ولا يمكن لأي استراتيجية أن تملك فيها ميزة حقيقية. ثم اختبرت 174 تركيبة من استراتيجية تقاطع المتوسطات المتحركة الكلاسيكية على السنوات الخمس الأولى، واحتفظت بأفضلها. وكررت العملية كلها على 200 سلسلة عشوائية مختلفة.

بلغ متوسط نسبة شارب السنوية لـ"أفضل" تركيبة في السنوات الخمس الأولى 0.68. لو عرضت منحنى رأس المال هذا على أحد، لبدت استراتيجية مقبولة. وفي السنوات الخمس التالية، سجّلت التركيبة نفسها نسبة شارب تساوي 0.00 تماماً، وخسرت في 48% من الحالات.

هذا المقال موجّه إلى المتداولين والمبرمجين الذين يبنون روبوتات التداول أو يشترونها. سأعرض الطرق التي يكذب بها الاختبار الرجعي (backtest): الإفراط في التوفيق (overfitting)، والتنقيب المفرط في البيانات (data snooping)، وتحيّز النظر إلى المستقبل (look-ahead bias)، وتحيّز البقاء (survivorship bias)، والتكاليف التي سقطت من المحاكاة. ثم أبيّن كيف يساعدك اختبار walk-forward والبيانات خارج العيّنة (out-of-sample) على كشف كل منها. لا تضمن أيٌّ من هذه الطرق الربح، لكنها تصعّب عليك خداع نفسك.

التجربة: أفضل استراتيجية على بيانات بلا معنى

كانت القاعدة بسيطة: شراء عندما يكون المتوسط القصير فوق المتوسط الطويل، وبيع عندما يكون تحته. تراوحت الفترة القصيرة بين 5 و50 يوماً، والطويلة بين 20 و200 يوم. الإشارة المبنية على سعر إغلاق كل يوم كانت تُنفَّذ في اليوم التالي. النتائج عبر 200 تكرار:

السيناريو متوسط شارب أفضل تركيبة في السنوات 1–5 شارب التركيبة نفسها في السنوات 6–10 نسبة التكرارات الخاسرة في السنوات 6–10
دون تكاليف 0.68 0.00 48%
بتكلفة 0.1% عند كل تغيير للمركز 0.61 -0.08 56%
مع خطأ نظر إلى المستقبل 1.07 0.76 6%

الصف الأول إفراط في التوفيق بشكله الخالص. لم تتعلم الاستراتيجية شيئاً عن السوق؛ وجدنا فقط التركيبة التي صادف أنها توافقت مع ضجيج تلك السنوات الخمس. ويُظهر الصف الثاني كيف تحوّل التكاليف الصفر إلى خسارة. أما الصف الثالث فهو الأخطر، وسنعود إليه: خطأ برمجي صغير جعل حتى الاختبار خارج العيّنة يبدو "رابحاً" على بيانات عشوائية تماماً.

شغّلنا هذا الكود باستخدام Python 3.13 وNumPy 2.5 على بيانات اصطناعية، والأرقام أعلاه هي مخرجاته. إنه أداة تعليمية وليس روبوت تداول، ولم يُختبر على بيانات سوق حقيقية أو حساب حقيقي.

import numpy as np

def sharpe(r):
    return np.sqrt(252) * r.mean() / r.std() if r.std() > 0 else 0.0

def ma(x, n):
    c = np.cumsum(np.insert(x, 0, 0.0))
    out = np.full(len(x), np.nan)
    out[n-1:] = (c[n:] - c[:-n]) / n
    return out

def run(seed, cost=0.0):
    ret = np.random.default_rng(seed).normal(0.0, 0.01, 2520)  # pure noise: no real edge
    price = 100 * np.cumprod(1 + ret)
    half, results = 1260, []
    for fast in range(5, 55, 5):
        for slow in range(20, 210, 10):
            if slow <= fast:
                continue
            pos = np.nan_to_num(np.sign(ma(price, fast) - ma(price, slow)))
            pos = np.roll(pos, 1); pos[0] = 0                   # trade on the next bar
            pnl = pos * ret - cost * np.abs(np.diff(pos, prepend=0))
            results.append((sharpe(pnl[:half]), sharpe(pnl[half:])))
    results = np.array(results)
    best = results[:, 0].argmax()
    return results[best]          # (in-sample Sharpe, out-of-sample Sharpe)

الإفراط في التوفيق: حين يحفظ الروبوت الضجيج

الإفراط في التوفيق يعني ضبط القاعدة على بيانات الماضي إلى حدّ أنها تحفظ مصادفات تلك الفترة بدلاً من سلوك يتكرر في السوق. كل معامل أو مرشّح أو استثناء تضيفه درجةُ حرية جديدة، ومع ما يكفي منها يمكنك رسم أي منحنى تريده.

كل تجربة تذكرة يانصيب

وضع ديفيد بيلي وماركوس لوبيز دي برادو وزملاؤهما أرقاماً لهذه الظاهرة في ورقة "الرياضيات الزائفة والدجل المالي" (Notices of the AMS، 2014). إذا كان لديك خمس سنوات من البيانات فقط، فلا ينبغي أن تجرّب أكثر من نحو 45 تكويناً مستقلاً. فمع 45 تجربة يُتوقَّع أن يُظهر أفضلها نسبة شارب داخل العيّنة تساوي 1، حتى لو كانت النسبة الحقيقية لكل منها صفراً. ومع سنتين من البيانات، يحدث ذلك بعد سبع تجارب فقط.

تحققت من ذلك بمحاكاة. في كل مرة بنيت N استراتيجية مستقلة بلا ميزة على خمس سنوات من البيانات اليومية، وسجّلت أعلى نسبة شارب:

عدد التجارب المستقلة متوسط أعلى شارب (محاكاة) قيمة معادلة بيلي ولوبيز دي برادو
10 0.70 0.70
45 1.00 1.00
100 1.12 1.13
1000 1.45 1.46

نسبة شارب 1.45 على خمس سنوات تبدو ممتازة لكثيرين، لكنها هنا مجرد أفضل نتيجة بين ألف رمية عملة.

وفي التجربة الأولى نقطة دقيقة أيضاً. التركيبات الـ174 للمتوسطات المتحركة متشابهة وليست مستقلة، وكان أفضل شارب بينها (0.68) قريباً مما نتوقعه من أفضل عشر تجارب مستقلة. ما يهم هو عدد الأفكار المختلفة فعلاً، لا عدد صفوف جدول التحسين. وهذا لا يعني أن البحث الواسع آمن، بل يعني أن حساب خطره أصعب.

أدلة من العالم الحقيقي

المسألة ليست نظرية فقط. دراستان ميدانيتان:

  • 888 خوارزمية على Quantopian. درس فيكي وزملاؤه (Journal of Investing، 2016) خوارزميات لديها ستة أشهر على الأقل من الأداء الفعلي خارج العيّنة. لم تكن لنسبة شارب في الاختبار الرجعي تقريباً أي قدرة على التنبؤ بنسبة شارب اللاحقة (R² أقل من 0.025). وكلما أجرى المطوّر اختبارات رجعية أكثر على الاستراتيجية، اتسعت الفجوة بين الاختبار والأداء اللاحق.
  • 215 استراتيجية من بنوك استثمار. رصد سوهونن ولينك وبيريز (Journal of Portfolio Management، 2017) تراجعاً وسيطاً بنسبة 73% في نسبة شارب بين فترة الاختبار الرجعي والتداول الفعلي. وفي أكثر الاستراتيجيات تعقيداً زاد التراجع بأكثر من 30 نقطة مئوية مقارنة بأبسطها.

الدرس العملي: للتعقيد ثمن. إذا أعطت قاعدة أبسط نتيجة قريبة، فاحتفظ بالأبسط.

التنقيب المفرط في البيانات: احسب المسار كله

التنقيب المفرط في البيانات يعني اختبار عدد كبير من الأفكار على مجموعة البيانات نفسها حتى تبدو إحداها جيدة بالمصادفة. وهذه الأفكار ليست المعاملات فقط؛ ففي كل مرة تنظر إلى الرسم البياني وتقول "الأفضل ألا يتداول يوم الجمعة"، تكون قد أجريت تجربة، حتى لو لم تكتب سطراً من الكود.

يأخذ البحث الأكاديمي هذه المشكلة بجدية. فقد اقترح هارفي وليو وتشو (Review of Financial Studies، 2016)، بالنظر إلى مئات العوامل التي اختُبرت على البيانات نفسها، أن يتجاوز أي عامل جديد إحصائية t أعلى من 3 لا 2 المعتادة. وقدّم هالبرت وايت عام 2000 في Econometrica اختباراً باسم Reality Check، يقيّم أفضل قاعدة مع الأخذ في الحسبان أنها اختيرت من بين قواعد كثيرة جُرِّبت.

نسبة شارب المعدَّلة (Deflated Sharpe Ratio)

الأداة الأكثر عملية لمطوّر الروبوت هي نسبة شارب المعدَّلة لبيلي ولوبيز دي برادو (Journal of Portfolio Management، 2014). تأخذ هذه النسبة في الحسبان عدد التجارب، وطول البيانات، ومدى ابتعاد العوائد عن التوزيع الطبيعي (الالتواء والذيول العريضة). ومخرجها احتمال: أن تتجاوز نسبة شارب الحقيقية أفضلَ نسبة متوقعة من العدد نفسه من التجارب التي لا ميزة لها.

مثال رقمي حسبته: استراتيجية بنسبة شارب سنوية 1.5 على ثلاث سنوات من البيانات اليومية، بالتواء -0.5 وتفرطح 5. افترضت أن التجارب مستقلة وأن تشتت نسب شارب بينها ناتج عن الضجيج وحده:

أفضل كم تجربة؟ شارب المتوقَّع من الحظ وحده احتمال أن تكون حقيقية (DSR)
1 0 0.99
10 0.91 0.84
100 1.46 0.53

الرقم نفسه 1.5 مقنع إذا كان فكرتك الوحيدة. أما إذا كان أفضل مئة فكرة، فهو أقرب إلى رمي عملة. لذلك فإن سجلّ التجارب أهم أدواتك ضد خداع النفس: دوّن كل فكرة وكل تركيبة وكل فشل، لتعرف N الحقيقي.

واقترح بيلي وزملاؤه أيضاً احتمال الإفراط في توفيق الاختبار الرجعي (PBO). تُقسَّم البيانات إلى أجزاء؛ وفي كل مرة يُستخدم بعضها لاختيار أفضل تكوين والباقي لتقييمه. إذا كان الفائز داخل العيّنة يقع غالباً دون الوسيط خارجها، فعملية الاختيار نفسها لديك مفرطة في التوفيق، لا استراتيجية واحدة فقط.

النظر إلى المستقبل: خطأ لا يكشفه الاختبار خارج العيّنة

عد إلى الصف الثالث في الجدول الأول. في تلك النسخة كانت الإشارة تُبنى على إغلاق اليوم وتتداول على عائد اليوم نفسه، أي أن الروبوت عرف سعراً لم يكن موجوداً بعد لحظة اتخاذ القرار. النتيجة: نسبة شارب 0.76 في السنوات من السادسة إلى العاشرة على بيانات عشوائية تماماً، وكانت 94% من التكرارات رابحة خارج العيّنة.

هذه هي النقطة الجوهرية. تقسيم البيانات يحميك من الإفراط في التوفيق، لكنه لا يحميك من الأخطاء البرمجية. إذا كان الكود يطّلع على المستقبل، فسيطّلع عليه في بيانات الاختبار أيضاً. والمكان الوحيد الذي ينكشف فيه هذا الخطأ هو الحساب الحقيقي.

مصادر شائعة للنظر إلى المستقبل في الروبوتات:

  • اتخاذ قرار في منتصف الشمعة بسعر إغلاقها، أو الدخول بسعر الإغلاق نفسه الذي ولّد الإشارة.
  • مؤشرات تعيد كتابة قيمها السابقة لاحقاً (repaint)، مثل بعض مؤشرات الزيغزاغ والفراكتل.
  • التطبيع أو تغيير المقياس باستخدام متوسط البيانات كلها وانحرافها المعياري.
  • بيانات أساسية أو اقتصادية مؤرَّخة بالفترة التي تخصها لا بتاريخ نشرها.
  • أخطاء الطابع الزمني للشمعة: هل يمثل افتتاحها أم إغلاقها؟ وهل المنطقة الزمنية للخادم هي نفسها منطقة البيانات؟

اختبار القطع: بسيط وفعّال

يكشف اختبار آلي بسيط معظم هذه الحالات. احسب الإشارة مرة على البيانات كاملة، ومرة على بيانات مقطوعة بعد اللحظة t مباشرة. يجب أن تكون قيمة الإشارة عند t متطابقة في الحالتين. فإن تغيّرت بحذف المستقبل، فالكود يستخدم المستقبل.

import numpy as np
import pandas as pd

def check_no_lookahead(signal_fn, prices: pd.Series, checkpoints=(300, 600, 900)):
    full = signal_fn(prices)
    for t in checkpoints:
        partial = signal_fn(prices.iloc[: t + 1])
        if not np.isclose(full.iloc[t], partial.iloc[t], equal_nan=True):
            return False, t
    return True, None

شغّلنا هذه الدالة على ثلاث إشارات نموذجية. نجحت الإشارة القائمة على متوسطات متحركة عادية. أما المتوسط المتحرك المركزي (center=True في pandas) والتطبيع بمتوسط السلسلة كلها، فقد فشلا عند أول نقطة فحص. لا يكشف هذا الاختبار كل تسرّب؛ فخطأ تاريخ النشر مثلاً لا يُكتشف إلا بفحص البيانات نفسها. لكن مكانه في CI الخاص بالروبوت، وينبغي تشغيله كلما تغيّر منطق الإشارة.

وهناك فحص مكمّل: أخّر التنفيذ شمعة واحدة. الميزة التي تختفي تماماً مع تأخير شمعة واحدة إما أنها تعتمد بشدة على سرعة التنفيذ، وإما أنها جاءت من المستقبل. وفي الحالتين تحتاج إلى فحص أدق.

تحيّز البقاء: بيانات محت الخاسرين

لنفترض أنك أخذت قائمة أكبر 50 عملة مشفرة اليوم، أو الأسهم المكوِّنة حالياً لمؤشر ما، واختبرت استراتيجيتك على سنواتها العشر الماضية. المشكلة أن هذه هي الرابحة في تلك السنوات العشر. الرموز التي انهارت أو شُطبت من البورصة أو أزالتها منصة التداول ليست في بياناتك. ومن دون أن تدري، تداول اختبارك الرجعي بين الناجين فقط.

قاس إلتون وغروبر وبليك (Review of Financial Studies، 1996) هذا الأثر في صناديق الاستثمار. فالصناديق التي تختفي من البيانات تختفي عادة بسبب ضعف أدائها، ولذلك يجعل حساب المتوسط على الناجين وحدهم الصورة أفضل من الواقع.

الحل:

  • ابنِ عالم التداول في كل نقطة زمنية: في كل يوم، أدرج فقط الرموز التي كانت قابلة للتداول في ذلك اليوم.
  • احصل على بيانات الرموز المشطوبة أيضاً. وإذا لم يوفرها مزوّد البيانات، فاذكر هذا القيد في تقرير الاختبار الرجعي.
  • وفي الاستراتيجيات التي تعمل على رمز واحد، اسأل لماذا اختير هذا الرمز. إذا كان الجواب "لأنه كان جيداً في الماضي"، فهذا أيضاً تحيّز بقاء.

التكاليف والانزلاق والتنفيذ

في التجربة الأولى، دفعت تكلفة 0.1% فقط عند كل تغيير للمركز متوسطَ شارب خارج العيّنة من الصفر إلى -0.08، مع أن تلك الاستراتيجية كانت قليلة التداول. وكلما ارتفع معدل الدوران، كبرت حصة التكاليف.

الحد الأدنى الذي يجب أن يتضمنه كل اختبار رجعي:

  • الفارق السعري (السبريد) الحقيقي في الساعات التي يعمل فيها الروبوت فعلاً، لا متوسطه أو حده الأدنى.
  • العمولة، وعند الاقتضاء رسوم التبييت (السواب) أو معدلات التمويل للمراكز الليلية أو العقود الدائمة.
  • الانزلاق السعري، خصوصاً حول الأخبار ومع أوامر السوق.
  • افتراض متحفظ للأوامر المحددة: وصول السعر إلى مستوى أمرك لا يعني أن الأمر نُفّذ.

اختبار بسيط: ضاعف التكاليف. إذا انهارت الاستراتيجية مع تكاليف مضاعفة، فهامش أمانها أضيق من أن تعتمد عليه. وقد تناولنا جوانب التنفيذ، مثل انقطاع الاتصال ورفض الأوامر، بتفصيل أكبر في مقال "لماذا يفشل روبوت التداول على الحساب الحقيقي" على هذا الموقع.

اختبار walk-forward والبيانات خارج العيّنة: نفِّذهما بالشكل الصحيح

تقسيم البيانات هو الدفاع الجاد الوحيد ضد الإفراط في التوفيق، بشرط أن يُنفَّذ بشكل صحيح.

ماذا يكشف walk-forward

في اختبار walk-forward تحسّن المعاملات على نافذة زمنية، ثم تتداول على النافذة التالية التي لم ترها، ثم تحرّك النافذة إلى الأمام وتكرر. وفي النهاية تجمع القطع خارج العيّنة وحدها وتقيّمها.

طبّقت ذلك على البيانات العشوائية نفسها: تحسين على سنتين، وتداول في الأشهر الستة التالية، وتكرار على امتداد عشر سنوات. بلغ متوسط شارب أفضل تركيبة في كل نافذة تحسين 1.05، بينما كانت نسبة شارب المنحنى المجمَّع خارج العيّنة -0.02. أخبرنا walk-forward بالحقيقة تماماً: لا توجد ميزة هنا.

قواعد كي لا تخدع نفسك

  • أقفل الجزء الأخير من البيانات. مثلاً، اعزل آخر 20% منذ اليوم الأول، ولا تشغّل الاستراتيجية النهائية عليه إلا مرة واحدة في نهاية العمل. وإذا عدت وغيّرت شيئاً بعد رؤية النتيجة، فلم تعد تلك البيانات خارج العيّنة.
  • أطوال النوافذ معاملات أيضاً. إذا جرّبت عشرة أطوال لنوافذ walk-forward وأبلغت عن أفضلها، فقد وقعت في الإفراط في التوفيق مجدداً، لكن في مستوى أعلى.
  • ابحث عن الهضبة لا القمة. اختر معاملات تعطي جاراتها نتائج قريبة. إذا كانت فترة 23 يوماً ممتازة بينما تخسر 21 و25، فقد وجدت ضجيجاً.
  • التطهير والفاصل (purging وembargo). إذا امتدت التسمية أو نتيجة الصفقة عدة أيام، مثل "العائد في الأيام الخمسة التالية"، فإن عيّنات التدريب التي تتداخل فتراتها مع فترة الاختبار تسرّب معلومات. يوصي لوبيز دي برادو في كتاب Advances in Financial Machine Learning بحذف هذه العيّنات وترك فاصل قصير بعد كل فترة اختبار. وهذه الخطوة ضرورية لروبوتات تعلم الآلة؛ فالتحقق المتقاطع المعتاد (k-fold مع خلط عشوائي) مضلِّل على السلاسل الزمنية المالية.
  • غطِّ أنظمة سوق مختلفة. يجب أن تضم فترة الاختبار اتجاهات وتذبذباً بلا اتجاه، وفترات هادئة وأزمات. فترة قصيرة وهادئة خارج العيّنة لا تثبت الكثير.

وبعد كل ذلك، الخطوة الأخيرة قبل الحساب الحقيقي هي تشغيل موازٍ على حساب تجريبي أو بحجم صغير جداً. ليس الهدف من هذه المرحلة الربح، بل المقارنة صفقة بصفقة بين الروبوت الحي واختبار رجعي للأيام نفسها. الفروق في أسعار الدخول وعدد الصفقات وتوقيتها علامات مبكرة على تسرّب من المستقبل أو نموذج تكاليف خاطئ.

قائمة تحقق قبل تشغيل الروبوت

  1. كم فكرة وتركيبة جرّبت فعلاً؟ وهل الرقم مكتوب في التقرير؟
  2. مع هذا العدد من التجارب وهذا الطول من البيانات، هل ما زالت نسبة شارب المعدَّلة مقنعة؟
  3. هل يعمل اختبار القطع للنظر إلى المستقبل في CI؟ وهل تبقى النتيجة ذات معنى مع تأخير شمعة واحدة؟
  4. هل عالم التداول في كل تاريخ هو ما كان موجوداً فعلاً في ذلك التاريخ، بما في ذلك الرموز المشطوبة؟
  5. هل نُمذجت التكاليف والسبريد والانزلاق والسواب الحقيقية؟ وهل تصمد الاستراتيجية مع تكاليف مضاعفة؟
  6. هل جاءت النتيجة من walk-forward، والمعاملات على هضبة لا على قمة؟
  7. هل فُتح الجزء النهائي المقفل مرة واحدة فقط؟
  8. إذا كانت التسميات متداخلة، هل طُبّق التطهير والفاصل؟
  9. هل تغطي فترة الاختبار عدة أنظمة سوق مختلفة؟
  10. هل قورن التشغيل الموازي التجريبي أو بالحجم الصغير باختبار رجعي للأيام نفسها؟

إذا كان الجواب عن أي منها "لا" أو "لا أعرف"، فإن نسبة شارب في الاختبار الرجعي لم تثبت شيئاً بعد.

الخلاصة

الاختبار الرجعي أداة لرفض الأفكار السيئة، لا لإثبات الأفكار الجيدة. على بيانات عشوائية تماماً، أنتجت 45 تجربة نسبة شارب 1، وأنتجت ألف تجربة 1.45، وصنع خطأ من سطر واحد نتيجة "رابحة" خارج العيّنة. لذلك لا يكفي رقم الاختبار الرجعي وحده. عليك أن تعرف كم مرة جرّبت، وأن الكود لا يطّلع على المستقبل، وأن البيانات تضم الخاسرين، وأن التكاليف واقعية، وأن النتيجة جاءت من walk-forward.

وإذا كان روبوتك يسلّم قرارات التداول لنموذج ذكاء اصطناعي، فمقالنا "روبوت تداول بوكيل ذكاء اصطناعي: النموذج يرسل الأمر والمسؤولية عليك" يشرح الضوابط التي يجب أن تبنيها خارج النموذج.

هذا المقال تعليمي، وليس نصيحة استثمارية أو وعداً بالربح. ولا تضمن أي طريقة اختبار الأرباح المستقبلية. إذا أردت أن نراجع معك عملية الاختبار الرجعي أو البيانات التاريخية أو كود إشارات روبوتك، يمكنك التواصل معنا عبر صفحة الطلب على موقع بهوندي.

التعليقات

لا توجد تعليقات بعد. كن أول من يكتب.

البريد أو الجوال للمتابعة فقط ولا يظهر في الموقع.