یادداشتهای استودیو
بکتست فریبنده؛ چرا ربات معاملهگری که روی گذشته میبرد، در بازار واقعی میبازد
روی دادهٔ تصادفی، بهترینِ ۱۷۴ استراتژی بکتست خوبی داشت و بعد به صفر رسید. بیشبرازش، نگاه به آینده و سوگیری بازماندگی را بشناسید و با walk-forward بسنجید.
یک آزمایش ساده انجام دادم. ده سال قیمت روزانهٔ ساختگی تولید کردم که کاملاً تصادفی بود. در این داده هیچ الگویی وجود ندارد و هیچ استراتژیای نمیتواند در آن لبهٔ واقعی داشته باشد. بعد ۱۷۴ ترکیب از یک استراتژی کلاسیک تقاطع میانگین متحرک را روی پنج سال اول آزمایش کردم و بهترینش را برداشتم. این کار را برای ۲۰۰ سری تصادفی مختلف تکرار کردم.
میانگین نسبت شارپ سالانهٔ «بهترین» ترکیب در پنج سال اول ۰٫۶۸ بود. اگر همین را با نمودار سرمایهاش به کسی نشان بدهید، استراتژی قابلقبولی به نظر میرسد. در پنج سال دوم، همان ترکیب دقیقاً به شارپ ۰٫۰۰ رسید. در ۴۸ درصد موارد هم ضرر داد.
این مقاله برای معاملهگرها و برنامهنویسهایی است که ربات معاملاتی میسازند یا میخرند. میخواهم نشان بدهم بکتست از چه راههایی دروغ میگوید: بیشبرازش (overfitting)، جستوجوی بیش از حد در داده (data snooping)، سوگیری نگاه به آینده (look-ahead bias)، سوگیری بازماندگی (survivorship bias) و هزینههایی که در شبیهسازی جا افتادهاند. بعد هم میگویم با walk-forward و دادهٔ out-of-sample چطور جلوی هر کدام را بگیرید. هیچکدام از این روشها سود را تضمین نمیکند. فقط احتمال اینکه خودتان را فریب بدهید کمتر میشود.
آزمایش: بهترین استراتژی روی دادهٔ بیمعنا
قاعدهٔ آزمایش این بود: اگر میانگین کوتاهمدت بالای میانگین بلندمدت بود، خرید؛ اگر پایین بود، فروش. دورهٔ کوتاه از ۵ تا ۵۰ روز و دورهٔ بلند از ۲۰ تا ۲۰۰ روز بود. سیگنالی که با قیمت بستهٔ هر روز ساخته میشد، از روز بعد اجرا میشد. نتیجهٔ ۲۰۰ تکرار:
| سناریو | میانگین شارپ بهترین ترکیب در پنج سال اول | شارپ همان ترکیب در پنج سال دوم | سهم اجراهای زیانده در پنج سال دوم |
|---|---|---|---|
| بکتست بدون هزینه | ۰٫۶۸ | ۰٫۰۰ | ۴۸٪ |
| با هزینهٔ ۰٫۱ درصد برای هر تغییر موقعیت | ۰٫۶۱ | ۰٫۰۸- | ۵۶٪ |
| با یک باگ نگاه به آینده | ۱٫۰۷ | ۰٫۷۶ | ۶٪ |
سطر اول بیشبرازش خالص است. استراتژی چیزی از بازار یاد نگرفته؛ فقط ترکیبی پیدا شده که با نویز همان پنج سال جور بوده است. سطر دوم نشان میدهد هزینه چطور صفر را منفی میکند. سطر سوم از همه خطرناکتر است و جلوتر سراغش میرویم: یک باگ کوچک باعث شد روی دادهٔ کاملاً تصادفی، حتی آزمون out-of-sample هم «سود» نشان بدهد.
کد این آزمایش را با Python 3.13 و NumPy 2.5 روی دادهٔ مصنوعی اجرا کردیم و اعداد بالا خروجی همان اجراست. این کد ابزار آموزشی است و نه ربات معاملاتی؛ روی دادهٔ واقعی و در حساب واقعی آزموده نشده است.
import numpy as np
def sharpe(r):
return np.sqrt(252) * r.mean() / r.std() if r.std() > 0 else 0.0
def ma(x, n):
c = np.cumsum(np.insert(x, 0, 0.0))
out = np.full(len(x), np.nan)
out[n-1:] = (c[n:] - c[:-n]) / n
return out
def run(seed, cost=0.0):
ret = np.random.default_rng(seed).normal(0.0, 0.01, 2520) # pure noise: no real edge
price = 100 * np.cumprod(1 + ret)
half, results = 1260, []
for fast in range(5, 55, 5):
for slow in range(20, 210, 10):
if slow <= fast:
continue
pos = np.nan_to_num(np.sign(ma(price, fast) - ma(price, slow)))
pos = np.roll(pos, 1); pos[0] = 0 # trade on the next bar
pnl = pos * ret - cost * np.abs(np.diff(pos, prepend=0))
results.append((sharpe(pnl[:half]), sharpe(pnl[half:])))
results = np.array(results)
best = results[:, 0].argmax()
return results[best] # (in-sample Sharpe, out-of-sample Sharpe)
بیشبرازش: وقتی ربات نویز را حفظ میکند
بیشبرازش یعنی قاعده آنقدر با دادهٔ گذشته تنظیم شود که به جای رفتار تکرارشدنی بازار، اتفاقهای تصادفی همان دوره را به خاطر بسپارد. هر پارامتر، فیلتر یا استثنایی که اضافه میکنید، یک درجهٔ آزادی تازه است. با درجهٔ آزادی کافی، هر منحنیای قابل ساختن است.
هر آزمایش یک بلیت بختآزمایی است
دیوید بیلی، مارکوس لوپز دِ پرادو و همکارانشان در مقالهٔ «شبهریاضیات و شارلاتانیسم مالی» (Notices of the AMS، ۲۰۱۴) این را با عدد نشان دادهاند. اگر فقط پنج سال داده دارید، نباید بیش از حدود ۴۵ پیکربندی مستقل را امتحان کنید. با همین ۴۵ آزمایش، انتظار میرود بهترینشان شارپ دروننمونهٔ ۱ نشان بدهد، حتی وقتی شارپ واقعی همهشان صفر است. با دو سال داده، این اتفاق بعد از فقط هفت آزمایش میافتد.
همین را با شبیهسازی هم بررسی کردم. هر بار N استراتژی مستقل و بیلبه روی پنج سال دادهٔ روزانه ساختم و بیشترین شارپ را ثبت کردم:
| تعداد آزمایش مستقل | میانگین بیشترین شارپ (شبیهسازی) | مقدار پیشبینیشده با فرمول بیلی و لوپز دِ پرادو |
|---|---|---|
| ۱۰ | ۰٫۷۰ | ۰٫۷۰ |
| ۴۵ | ۱٫۰۰ | ۱٫۰۰ |
| ۱۰۰ | ۱٫۱۲ | ۱٫۱۳ |
| ۱۰۰۰ | ۱٫۴۵ | ۱٫۴۶ |
شارپ ۱٫۴۵ روی پنج سال، از دید خیلیها عالی است. اینجا فقط نتیجهٔ هزار بار پرتاب سکه است.
یک نکتهٔ ظریف هم در آزمایش اول بود. ۱۷۴ ترکیب میانگین متحرک به هم شبیهاند و مستقل نیستند. بهترین شارپ آنها (۰٫۶۸) تقریباً هماندازهٔ بهترینِ ده آزمایش مستقل بود. پس آنچه مهم است تعداد ایدههای واقعاً متفاوت است، نه تعداد ردیفهای جدول بهینهسازی. البته این به معنای بیخطر بودن جستوجوی گسترده نیست؛ یعنی حساب کردن خطرش سختتر است.
شواهد از دنیای واقعی
این فقط بحث نظری نیست. دو پژوهش میدانی:
- ۸۸۸ الگوریتم در Quantopian. ویکی و همکاران (Journal of Investing، ۲۰۱۶) الگوریتمهایی را بررسی کردند که دستکم شش ماه عملکرد واقعاً بروننمونه داشتند. شارپ بکتست تقریباً هیچ قدرتی برای پیشبینی شارپ بعدی نداشت (R² کمتر از ۰٫۰۲۵). هر چه سازندهای روی یک استراتژی بکتست بیشتری اجرا کرده بود، فاصلهٔ بکتست و عملکرد بعدی بیشتر بود.
- ۲۱۵ استراتژی بانکهای سرمایهگذاری. سوهونن، لنک و پرز (Journal of Portfolio Management، ۲۰۱۷) میانهٔ افت ۷۳ درصدی شارپ را از دورهٔ بکتست به دورهٔ واقعی گزارش کردند. در پیچیدهترین استراتژیها، این افت بیش از ۳۰ واحد درصد از سادهترینها بیشتر بود.
درس عملی: پیچیدگی هزینه دارد. اگر قاعدهٔ سادهتری تقریباً همان نتیجه را میدهد، سادهتر را نگه دارید.
جستوجوی بیش از حد در داده: کل مسیر را بشمارید
data snooping یعنی با یک مجموعهداده آنقدر ایده آزمایش شود که بالاخره یکی از روی شانس خوب دربیاید. این ایدهها فقط پارامترها نیستند. هر بار که نمودار را نگاه کردید و گفتید «بهتر است جمعهها معامله نکند»، یک آزمایش انجام دادهاید، حتی اگر کدش را ننوشته باشید.
در پژوهش دانشگاهی این مشکل جدی گرفته میشود. هاروی، لیو و ژو (Review of Financial Studies، ۲۰۱۶) با توجه به صدها عاملی که روی دادههای یکسان آزموده شدهاند، پیشنهاد کردند هر عامل تازه دستکم آمارهٔ t بالای ۳ داشته باشد، نه ۲ همیشگی. هالبرت وایت هم سال ۲۰۰۰ در Econometrica آزمونی به نام Reality Check معرفی کرد. این آزمون هنگام سنجش بهترین قاعده، در نظر میگیرد که آن قاعده از میان چندین قاعدهٔ آزمودهشده انتخاب شده است.
نسبت شارپ تعدیلشده (Deflated Sharpe Ratio)
ابزار کاربردیتر برای سازندهٔ ربات، نسبت شارپ تعدیلشده بیلی و لوپز دِ پرادو است (Journal of Portfolio Management، ۲۰۱۴). این شاخص سه چیز را در نظر میگیرد: چند آزمایش انجام شده، داده چقدر طولانی است، و بازدهها چقدر از توزیع نرمال دورند (چولگی و دنبالههای پهن). خروجیاش یک احتمال است: اینکه شارپ واقعی از بهترین شارپ مورد انتظار در میان همان تعداد آزمایش بیلبه بیشتر باشد.
مثال عددی که خودم حساب کردم: استراتژیای با شارپ سالانهٔ ۱٫۵ روی سه سال دادهٔ روزانه، با چولگی ۰٫۵- و کشیدگی ۵. فرض کردهام آزمایشها مستقلاند و پراکندگی شارپشان فقط از نویز آمده است:
| بهترینِ چند آزمایش؟ | آستانهٔ شارپ مورد انتظار از شانس | احتمال واقعی بودن (DSR) |
|---|---|---|
| ۱ | ۰ | ۰٫۹۹ |
| ۱۰ | ۰٫۹۱ | ۰٫۸۴ |
| ۱۰۰ | ۱٫۴۶ | ۰٫۵۳ |
همان عدد ۱٫۵، اگر تنها ایدهٔ شما بوده، قانعکننده است. اگر بهترینِ صد ایده بوده، تقریباً مثل شیر یا خط است. برای همین، دفترچهٔ آزمایش مهمترین ابزار ضدفریب است: هر ایده، هر ترکیب و هر شکست را ثبت کنید تا N واقعی را بدانید.
بیلی و همکاران روش دیگری هم دارند به نام احتمال بیشبرازش بکتست (PBO). در این روش داده به چند تکه تقسیم میشود. هر بار بخشی برای انتخاب بهترین پیکربندی و بقیه برای سنجش آن استفاده میشود. اگر بهترینِ دروننمونه اغلب در بروننمونه زیر میانه بیفتد، فرایند انتخاب شما بیشبرازش دارد، نه فقط یک استراتژی.
نگاه به آینده: باگی که out-of-sample هم پیدایش نمیکند
سطر سوم جدول اول را دوباره ببینید. در آن نسخه سیگنال با بستهٔ امروز ساخته میشد و با بازده همان روز معامله میکرد. این یعنی ربات قیمتی را میدانست که هنوز در لحظهٔ تصمیم وجود نداشت. نتیجه: شارپ ۰٫۷۶ در پنج سال دوم، روی دادهٔ کاملاً تصادفی. ۹۴ درصد اجراها هم در دورهٔ بروننمونه سودده بودند.
نکتهٔ مهم همین است. جدا کردن داده جلوی بیشبرازش را میگیرد، اما جلوی باگ را نمیگیرد. اگر کد از آینده میخورد، در دادهٔ آزمون هم از آینده میخورد. تنها جایی که این باگ لو میرود، حساب واقعی است.
منابع رایج نشت آینده در رباتها:
- تصمیم وسط کندل با قیمت بستهٔ همان کندل، یا ورود به قیمت بستهای که سیگنالش را ساخته است.
- اندیکاتورهایی که مقدار گذشتهشان را بعداً عوض میکنند (repaint)، مثل بعضی زیگزاگها و فراکتالها.
- نرمالسازی یا مقیاسدهی با میانگین و انحراف معیار کل داده.
- دادهٔ بنیادی یا اقتصادی با تاریخ دورهای که به آن مربوط است، نه تاریخی که منتشر شده.
- اشتباه در برچسب زمانی کندل: آیا زمان کندل، زمان باز شدن آن است یا بسته شدنش؟ و منطقهٔ زمانی سرور با داده یکی است؟
آزمون برش: ساده و مؤثر
یک آزمون خودکار ساده بیشتر اینها را میگیرد. سیگنال را یک بار روی کل داده حساب کنید و یک بار روی دادهای که بعد از لحظهٔ t بریده شده. مقدار سیگنال در لحظهٔ t باید در هر دو حالت یکی باشد. اگر با حذف آینده عوض شد، کد از آینده استفاده میکند.
import numpy as np
import pandas as pd
def check_no_lookahead(signal_fn, prices: pd.Series, checkpoints=(300, 600, 900)):
full = signal_fn(prices)
for t in checkpoints:
partial = signal_fn(prices.iloc[: t + 1])
if not np.isclose(full.iloc[t], partial.iloc[t], equal_nan=True):
return False, t
return True, None
این تابع را روی سه سیگنال نمونه اجرا کردیم. سیگنالی که فقط از میانگین متحرک معمولی استفاده میکرد، قبول شد. میانگین متحرک مرکزی (center=True در pandas) و نرمالسازی با میانگین کل سری، هر دو در اولین نقطهٔ بررسی رد شدند. این آزمون همهٔ نشتها را نمیگیرد؛ مثلاً اشتباه در تاریخ انتشار داده را فقط با بررسی خود داده میشود پیدا کرد. ولی جایش در CI ربات است و هر بار که منطق سیگنال عوض شد، باید اجرا شود.
یک آزمون تکمیلی هم دارید: اجرای سیگنال را یک کندل عقب بیندازید. لبهای که با یک کندل تأخیر کاملاً ناپدید میشود، یا خیلی به سرعت اجرا وابسته است یا از آینده آمده است. در هر دو حالت باید دقیقتر بررسی شود.
سوگیری بازماندگی: دادهای که بازندهها را پاک کرده
فرض کنید فهرست امروز ۵۰ رمزارز برتر یا سهمهای فعلی یک شاخص را برمیدارید و استراتژی را روی ده سال گذشتهٔ آنها آزمایش میکنید. مشکل اینجاست که اینها برندگان آن ده سالاند. نمادهایی که سقوط کردند، از بورس حذف شدند یا از صرافی کنار رفتند، در داده نیستند. بکتست شما بدون اینکه بدانید فقط در میان بازماندگان معامله کرده است.
التون، گروبر و بلیک (Review of Financial Studies، ۱۹۹۶) همین اثر را در صندوقهای سرمایهگذاری اندازه گرفتند. صندوقهایی که از داده حذف میشوند، معمولاً به خاطر عملکرد ضعیف حذف شدهاند. پس میانگین گرفتن فقط از بازماندگان تصویر را بهتر از واقعیت نشان میدهد.
راهحل:
- جهان معاملاتی را در هر نقطه از زمان بسازید: هر روز فقط نمادهایی که همان روز قابل معامله بودند.
- دادهٔ نمادهای حذفشده را هم داشته باشید. اگر منبع دادهتان آن را ندارد، این محدودیت را در گزارش بکتست بنویسید.
- برای استراتژیهایی که روی یک نماد کار میکنند هم بپرسید چرا همین نماد انتخاب شده. اگر جوابش «چون در گذشته خوب بوده» است، این هم نوعی سوگیری بازماندگی است.
هزینه، لغزش و اجرا
در آزمایش اول، فقط ۰٫۱ درصد هزینه برای هر تغییر موقعیت، میانگین شارپ بروننمونه را از صفر به ۰٫۰۸- رساند. این در حالی است که آن استراتژی کممعامله بود. هر چه گردش معاملات بیشتر باشد، سهم هزینه بزرگتر میشود.
حداقلهایی که هر بکتست باید داشته باشد:
- اسپرد واقعی در ساعتهای معاملهای که ربات فعال است، نه اسپرد متوسط یا کمینه.
- کمیسیون، و در صورت وجود، سواپ یا نرخ تأمین مالی (funding) برای موقعیتهای شبانه یا قراردادهای دائمی.
- لغزش، مخصوصاً در اطراف خبرها و برای سفارشهای بازار.
- فرض محافظهکارانه برای سفارشهای محدود: اینکه قیمت به سطح سفارش رسیده، تضمین نمیکند سفارش شما پر شده باشد.
یک آزمون ساده: هزینهها را دو برابر کنید. اگر استراتژی با هزینهٔ دو برابر از بین میرود، حاشیهٔ امنش کمتر از آن است که به آن تکیه کنید. ابعاد اجرایی، مثل قطع ارتباط یا رد سفارش، را در مقالهٔ «چرا ربات معاملهگر در حساب واقعی شکست میخورد» در همین سایت بیشتر باز کردهایم.
walk-forward و out-of-sample، درست انجامش بدهید
جدا کردن داده تنها دفاع جدی در برابر بیشبرازش است، به شرط اینکه درست انجام شود.
walk-forward چه چیزی را نشان میدهد
در walk-forward، پارامترها را روی یک پنجرهٔ زمانی بهینه میکنید، روی پنجرهٔ بعدی که ندیدهاید معامله میکنید، پنجره را جلو میبرید و تکرار میکنید. در پایان، فقط تکههای بروننمونه را کنار هم میگذارید و ارزیابی میکنید.
همین کار را روی همان دادهٔ تصادفی انجام دادم: بهینهسازی روی دو سال، معامله در شش ماه بعد، و تکرار در طول ده سال. بهترین ترکیب در هر پنجرهٔ بهینهسازی بهطور میانگین شارپ ۱٫۰۵ داشت. منحنی بروننمونهٔ بههمچسبیده شارپ ۰٫۰۲- داشت. walk-forward همان چیزی را گزارش کرد که واقعیت بود: اینجا لبهای وجود ندارد.
چند قاعده برای اینکه خودتان را فریب ندهید
- یک بخش آخر داده را قفل کنید. مثلاً ۲۰ درصد پایانی را از روز اول کنار بگذارید و فقط یک بار، در پایان کار، استراتژی نهایی را روی آن اجرا کنید. اگر بعد از دیدن نتیجه برگشتید و چیزی را عوض کردید، آن داده دیگر بروننمونه نیست.
- طول پنجرهها هم پارامتر است. اگر ده ترکیب از طول پنجرهٔ walk-forward را امتحان کردید و بهترینش را گزارش دادید، دوباره بیشبرازش کردهاید، این بار در سطح بالاتر.
- دنبال فلات باشید، نه قله. پارامتری را انتخاب کنید که همسایههایش هم نتیجهٔ نزدیکی دارند. اگر دورهٔ ۲۳ عالی است ولی ۲۱ و ۲۵ ضرر میدهند، شما نویز پیدا کردهاید.
- پاکسازی و فاصلهگذاری (purging و embargo). اگر برچسب یا نتیجهٔ هر معامله چند روز طول میکشد، مثلاً «بازده پنج روز بعد»، نمونههای آموزش که بازهشان با دورهٔ آزمون همپوشانی دارد، اطلاعات را نشت میدهند. لوپز دِ پرادو در کتاب Advances in Financial Machine Learning پیشنهاد میکند این نمونهها حذف شوند و بعد از هر دورهٔ آزمون هم فاصلهای کوتاه در نظر گرفته شود. برای رباتهای مبتنی بر یادگیری ماشین این گام ضروری است؛ اعتبارسنجی متقاطع معمولی (k-fold تصادفی) روی سری زمانی مالی گمراهکننده است.
- رژیمهای مختلف بازار را پوشش دهید. دورهٔ آزمون باید هم روند داشته باشد هم نوسان بیجهت، هم دورههای آرام هم بحران. یک دورهٔ بروننمونهٔ کوتاه و آرام چیز زیادی ثابت نمیکند.
بعد از همهٔ اینها، قدم آخر پیش از حساب واقعی، اجرای موازی روی حساب دمو یا با حجم بسیار کوچک است. هدف این مرحله سود نیست؛ هدف مقایسهٔ معاملهبهمعاملهٔ ربات زنده با بکتست همان روزهاست. اختلاف قیمت ورود، تعداد معاملهها و زمانبندی، نشانههای اولیهٔ نشت آینده یا مدل هزینهٔ غلط است.
چکلیست پیش از روشن کردن ربات
- چند ایده و ترکیب را واقعاً امتحان کردهاید؟ عددش را در گزارش نوشتهاید؟
- با این تعداد آزمایش و این طول داده، نسبت شارپ تعدیلشده هنوز قانعکننده است؟
- آزمون برش برای نشت آینده در CI اجرا میشود؟ نتیجه با یک کندل تأخیر هنوز معنادار است؟
- جهان معاملاتی در هر تاریخ همان چیزی است که آن روز وجود داشت، با نمادهای حذفشده؟
- هزینه، اسپرد، لغزش و سواپ واقعی مدل شدهاند؟ استراتژی با هزینهٔ دو برابر زنده میماند؟
- نتیجه از walk-forward آمده و پارامترها روی فلاتاند، نه قله؟
- بخش قفلشدهٔ پایانی فقط یک بار باز شده است؟
- اگر برچسبها همپوشانی دارند، purging و embargo اعمال شده؟
- دورهٔ آزمون چند رژیم مختلف بازار را پوشش میدهد؟
- اجرای موازی دمو یا حجم کوچک، با بکتست همان روزها مقایسه شده است؟
اگر جواب هر کدام «نه» یا «نمیدانم» است، عدد شارپ بکتست هنوز چیزی را ثابت نکرده است.
جمعبندی
بکتست ابزاری برای رد کردن ایدههای بد است، نه ابزاری برای اثبات ایدههای خوب. روی دادهٔ کاملاً تصادفی، با ۴۵ آزمایش شارپ ۱ و با هزار آزمایش شارپ ۱٫۴۵ به دست آمد. یک باگ یکخطی هم نتیجهٔ بروننمونهٔ «سودده» ساخت. پس عدد بکتست بهتنهایی کافی نیست. باید بدانید چند بار آزمایش کردهاید، کد از آینده نمیخورد، داده بازندهها را دارد، هزینهها واقعیاند و نتیجه از walk-forward آمده است.
برای نگاه مکمل، مقالهٔ «بکتست قابل اعتماد: بیشبرازش، نشت داده و تخصیص سرمایه» را در همین سایت ببینید. اگر ربات شما تصمیم معاملاتی را به مدل هوش مصنوعی میسپارد، مقالهٔ «ربات معاملاتی با عامل هوش مصنوعی؛ سفارش را مدل میفرستد، مسئولیتش با شماست» دربارهٔ کنترلهایی است که باید بیرون از مدل بسازید.
این مقاله آموزشی است و توصیهٔ سرمایهگذاری یا وعدهٔ سود نیست. هیچ روش آزمونی سودآوری آینده را تضمین نمیکند. اگر میخواهید فرایند بکتست، دادهٔ تاریخی یا کد سیگنال رباتتان را با هم بازبینی کنیم، از صفحهٔ «سفارش سامانه» در سایت بهوندی با ما در تماس باشید.
نظرها
هنوز نظری نیست. اولین نظر را شما بنویسید.