استودیو بهوندی ساخت سیستم‌های هوشمند
بازگشت به بلاگ

یادداشت‌های استودیو

دستیار پشتیبانی روی اسناد خودتان با .NET و SQL Server؛ از قطعه‌بندی تا ارزیابی

ساخت دستیار پشتیبانی با RAG در C# و SQL Server 2025: نوع VECTOR و جست‌وجوی دقیق، قطعه‌بندی، پاسخ با استناد، امتناع وقتی جواب در اسناد نیست و ارزیابی ساده.

پشته‌ای از زونکن‌ها و پوشه‌های اداری با نور سرد؛ روی آن یک حباب گفتگو با سه خط پاسخ که هر خط به نشانی رنگی ختم می‌شود و با خط‌چین به سه کارت قطعهٔ سند هم‌رنگ وصل است

اگر دادهٔ محصولتان در SQL Server است و تیمتان C# می‌نویسد، برای ساختن دستیاری که از راهنمای محصول جواب بدهد، احتمالاً پایگاه دادهٔ برداری جداگانه لازم ندارید. در SQL Server 2025 نوع دادهٔ VECTOR و تابع VECTOR_DISTANCE جزو خود موتورند و دیگر پیش‌نمایش نیستند (GA شده‌اند). یعنی اسناد، بردارها، تفکیک مشتری‌ها و دسترسی‌ها می‌توانند در همان پایگاهی بمانند که همین حالا پشتیبان‌گیری و پایش می‌شود.

مفهوم کلی RAG را پیش‌تر در مقالهٔ «هوش مصنوعی در محصول نرم‌افزاری: RAG، پایگاه برداری و پرامپت» در همین سایت توضیح داده‌ایم. اینجا سراغ پیاده‌سازی می‌رویم. اول اینکه از قابلیت‌های برداری SQL Server کدام آماده است و کدام هنوز پیش‌نمایش. بعد قطعه‌بندی‌ای که بعداً دردسر نسازد، جاهایی که دستیار باید از جواب دادن خودداری کند، و یک مجموعهٔ ارزیابی کوچک که نشان بدهد سامانه دقیقاً کجا خراب می‌شود. کد نمونه را کامپایل و اجرا کرده‌ایم و در بخش آخر دقیق گفته‌ایم چه چیزی اجرا شد و چه چیزی نه.

SQL Server امروز دقیقاً چه دارد

مستندات مایکروسافت روشن است؛ فقط باید دقت کنید کدام قابلیت در کدام محصول GA شده و کدام نه:

قابلیت SQL Server 2025 Azure SQL Database
نوع VECTOR و تابع VECTOR_DISTANCE GA GA
بردار نیم‌دقت (float16) پیش‌نمایش؛ نیازمند PREVIEW_FEATURES GA
ایندکس برداری (DiskANN) و VECTOR_SEARCH پیش‌نمایش؛ نیازمند PREVIEW_FEATURES GA، با نسخهٔ جدید ایندکس

در Azure SQL Managed Instance، قابلیت‌های برداری فقط با سیاست به‌روزرسانی «SQL Server 2025» یا «Always-up-to-date» در دسترس‌اند، و ایندکس برداری فقط در دومی GA است.

سر ایندکس برداری باید دقیق‌تر بود. نسخهٔ جدید ایندکس، که فعلاً فقط در Azure SQL Database، پایگاه SQL در Fabric و Managed Instance با سیاست Always-up-to-date هست، INSERT و UPDATE را پشتیبانی می‌کند و فیلتر WHERE را هم‌زمان با جست‌وجو اعمال می‌کند. نسخهٔ قبلی این‌طور نیست: جدول بعد از ساختن ایندکس فقط‌خواندنی می‌شود، مگر اینکه با ALLOW_STALE_VECTOR_INDEX نتایج کهنه را بپذیرید. فیلتر هم بعد از بازیابی اعمال می‌شود؛ یعنی اگر فقط قطعه‌های یک مشتری را بخواهید، ممکن است کمتر از تعدادی که خواسته‌اید برگردد. کلید اصلی جدول هم باید clustered و از نوع int باشد. برای ساختن ایندکس، جدول دست‌کم ۱۰۰ ردیف با بردار غیرخالی لازم دارد.

برای دستیار پشتیبانی یک محصول SaaS، نتیجهٔ عملی ساده است: ایندکس برداری لازم ندارید. خود مایکروسافت جست‌وجوی دقیق را برای کمتر از حدود ۵۰ هزار بردار توصیه می‌کند، و منظورش بردارهایی است که بعد از فیلتر WHERE باقی می‌مانند. راهنمایی چندصدصفحه‌ای، با قطعه‌هایی به اندازهٔ چند پاراگراف، به چند هزار قطعه می‌رسد، نه چند ده هزار. جست‌وجوی دقیق با VECTOR_DISTANCE امروز GA است، پرچم پیش‌نمایش نمی‌خواهد و فیلتر مشتری را قبل از رتبه‌بندی اعمال می‌کند. اگر محصولتان روی سرور خود مشتری نصب می‌شود، همین نکتهٔ آخر تعیین‌کننده است. به نظر ما فعال کردن قابلیت پیش‌نمایش روی پایگاه دادهٔ مشتری، آن هم برای قابلیتی که بدون آن هم کار می‌کند، ریسک بی‌دلیلی است.

پیش از انتخاب مدل embedding یک عدد دیگر را هم ببینید. هر عنصر بردار float32 چهار بایت است و سقف ابعاد ۱٬۹۹۸ است. مدل text-embedding-3-large شرکت OpenAI به‌طور پیش‌فرض ۳٬۰۷۲ بُعد برمی‌گرداند و در این ستون جا نمی‌شود. دو راه دارید: یا با پارامتر dimensions همان API بردار کوتاه‌تری بگیرید (OpenAI این را راه پیشنهادی می‌داند)، یا سراغ float16 بروید که روی SQL Server 2025 هنوز پیش‌نمایش است. راه اول تقریباً همیشه بهتر است. اگر هم بردار را خودتان کوتاه می‌کنید، دوباره نرمال‌سازی‌اش کنید؛ وگرنه فاصله‌های dot بی‌معنا می‌شوند.

جدول و کوئری

CREATE TABLE dbo.DocChunks
(
    Id             int IDENTITY(1,1) NOT NULL PRIMARY KEY,
    TenantId       varchar(64)    NOT NULL,
    ChunkId        varchar(200)   NOT NULL,
    DocId          varchar(200)   NOT NULL,
    HeadingPath    nvarchar(400)  NOT NULL,
    Content        nvarchar(max)  NOT NULL,
    Embedding      vector(1536)   NOT NULL,
    EmbeddingModel varchar(100)   NOT NULL,
    UpdatedAt      datetime2(0)   NOT NULL DEFAULT SYSUTCDATETIME(),
    CONSTRAINT UQ_DocChunks_Tenant_Chunk UNIQUE (TenantId, ChunkId)
);
GO

DECLARE @q vector(1536);   -- بردار پرسش، که برنامه به‌صورت SqlVector<float> می‌فرستد
DECLARE @TenantId varchar(64) = 'acme';

SELECT TOP (4) ChunkId, HeadingPath, Content,
       VECTOR_DISTANCE('cosine', Embedding, @q) AS Distance
FROM dbo.DocChunks
WHERE TenantId = @TenantId
ORDER BY Distance;

سه تصمیم در این جدول عمدی است. TenantId از روز اول ستون مستقل است، چون دستیار پشتیبانی که راهنمای اختصاصی مشتری الف را به مشتری ب نشان بدهد، دیگر مشکل کیفیت ندارد؛ نشت داده است. EmbeddingModel هم ذخیره می‌شود، چون بردارهای دو مدل متفاوت با هم قابل‌مقایسه نیستند و روزی که مدل را عوض کنید، باید بدانید کدام ردیف‌ها کهنه‌اند. HeadingPath را هم جدا نگه داشته‌ایم، چون دو جا به کار می‌آید: در embedding و در نمایش منبع به کاربر.

ستون برداری محدودیت‌های خودش را دارد: جز NULL و NOT NULL هیچ قیدی، حتی DEFAULT، رویش نمی‌نشیند و ایندکس B-tree هم نمی‌گیرد. فقط می‌شود آن را ستون INCLUDE یک ایندکس معمولی کرد.

سمت C#، از Microsoft.Data.SqlClient نسخهٔ 6.1 به بعد نوع SqlVector<float> هست و بردار به‌صورت دودویی جابه‌جا می‌شود. با درایورهای قدیمی‌تر هم کار می‌کند، ولی بردار به شکل رشتهٔ JSON رفت‌وبرگشت می‌کند:

await using var cmd = new SqlCommand(sql, conn);
cmd.Parameters.AddWithValue("@k", k);
cmd.Parameters.AddWithValue("@TenantId", tenantId);
cmd.Parameters.Add(new SqlParameter("@q", SqlDbTypeExtensions.Vector)
    { Value = new SqlVector<float>(queryEmbedding) });

قطعه‌بندی: کار کم‌جلوه‌ای که بیشترین اثر را دارد

وقتی دستیار پشتیبانی قطعهٔ درست را پیدا نمی‌کند، اولین جایی که باید نگاه کرد مدل embedding نیست؛ جایی است که متن بریده شده. بریدن با طول ثابت، مثلاً هر ۵۰۰ نویسه، ساده‌ترین روش است و معمولاً بدترینش. جدول را از وسط نصف می‌کند، مرحلهٔ سوم یک راهنما را از دو مرحلهٔ قبلش جدا می‌کند و جمله‌ای مثل «بعد از صدور قابل ویرایش نیست» را بی‌صاحب رها می‌کند. چه چیزی قابل ویرایش نیست؟ از خود قطعه نمی‌شود فهمید.

روشی که در برنامهٔ نمونه پیاده کرده‌ایم ساده است. متن را روی تیترهای خود سند می‌بُریم و هر بخش را تا جایی که در سقف اندازه جا می‌شود یکجا نگه می‌داریم. بخش‌های بلند فقط روی مرز پاراگراف شکسته می‌شوند. مهم‌تر از همه، مسیر تیترها همراه متن embedding می‌شود:

public sealed record Chunk(string Id, string DocId, string HeadingPath, string Text)
{
    // مسیر تیترها همراه متن embedding می‌شود تا قطعه‌ای که فقط می‌گوید
    // «بعد از صدور قابل ویرایش نیست» بداند دربارهٔ فاکتور است.
    public string EmbeddingText => $"{HeadingPath}\n{Text}";
}

دربارهٔ اندازهٔ قطعه عدد جادویی نمی‌دهیم. اندازه‌ای که برای یک راهنمای پرسش‌وپاسخ کوتاه خوب است، برای مستندات API بد است. اندازه را با همان مجموعهٔ ارزیابی‌ای تنظیم کنید که پایین‌تر می‌سازیم، نه با حدس.

اگر اسناد یا پرسش‌ها فارسی‌اند، یک نکته را از اول جدی بگیرید: «ي» و «ك» عربی با «ی» و «ک» فارسی نویسه‌های متفاوتی‌اند. سندی که با صفحه‌کلید فارسی نوشته شده و پرسشی که با صفحه‌کلید عربی تایپ شده، از نظر ماشین کلمه‌های متفاوتی دارند. در برنامهٔ نمونه، «فاکتور صادرشده قابل ویرایش نیست» با دو نوع صفحه‌کلید دو رشتهٔ نابرابر است و بعد از نرمال‌سازی برابر می‌شود. نرمال‌سازی را پیش از embedding هم روی سندها انجام دهید و هم روی پرسش‌ها؛ اگر جست‌وجوی کلیدواژه‌ای دارید، آنجا هم.

embedding و مدل، پشت یک قرارداد

کتابخانهٔ Microsoft.Extensions.AI دو اینترفیس دارد که برای این کار کافی است: IEmbeddingGenerator<string, Embedding<float>> و IChatClient. ارزش اصلی‌شان این نیست که کد را کوتاه کنند. ارزششان این است که ارائه‌دهندهٔ مدل از منطق دستیار جدا می‌شود. می‌توانید امروز با OpenAI کار کنید، فردا با Azure OpenAI یا یک مدل محلی، و در تست‌ها با یک پیاده‌سازی ساختگی و قطعی. ما در برنامهٔ نمونه دقیقاً همین کار آخر را کردیم. نسخه‌ای که در آن کامپایل شد، نسخهٔ 11.0.1 همین بسته‌ها بود.

پاسخ با استناد، و سه جا برای «نمی‌دانم»

دستیاری که هیچ‌وقت «نمی‌دانم» نمی‌گوید، دیر یا زود قابلیتی را توصیف می‌کند که محصول شما ندارد. ما امتناع را در سه نقطه گذاشته‌ایم و هر کدام خطای متفاوتی را می‌گیرد. این تکه از کلاس SupportAnswerer برنامهٔ نمونه است (توضیح‌های داخل کد ترجمه شده‌اند):

var hits = (await store.SearchAsync(q, topK, ct)).Where(h => h.Distance <= maxDistance).ToList();
// Refuse و Ok دو تابع کمکی کوچک‌اند که پاسخ را با دلیل امتناع یا منابع برمی‌گردانند.

// دروازهٔ ۱: هیچ قطعهٔ نزدیکی نیست؛ بدون صدا زدن مدل امتناع کن.
if (hits.Count == 0) return Refuse("no-retrieval");

// ... ساختن پیام‌ها: دستور سیستمی + منابع شماره‌دار [S1]، [S2]، ... + سؤال
var response = await chat.GetResponseAsync(messages, new ChatOptions { Temperature = 0 }, ct);
var text = response.Text.Trim();

// دروازهٔ ۲: خود مدل می‌گوید منابع جواب را ندارند.
if (text.Contains("NOT_FOUND", StringComparison.Ordinal)) return Refuse("model-not-found");

// دروازهٔ ۳: پاسخ باید استناد داشته باشد، و فقط به منابعی که واقعاً فرستاده‌ایم.
var problem = CitationCheck(text, hits.Count);
return problem is null ? Ok(text, hits) : Refuse(problem);

دروازهٔ اول ارزان است و جلوی سؤال‌های بی‌ربط را پیش از هزینهٔ مدل می‌گیرد. اما همان‌طور که در ارزیابی می‌بینید، به‌تنهایی کافی نیست. دروازهٔ دوم به دستور سیستمی متکی است: مدل باید فقط از منابع شماره‌دار جواب بدهد، بعد از هر جمله شمارهٔ منبع را بیاورد و اگر جواب در منابع نیست، دقیقاً NOT_FOUND برگرداند. دروازهٔ سوم بررسی می‌کند پاسخ دست‌کم یک استناد داشته باشد و به منبعی مثل [S5] ارجاع ندهد وقتی فقط چهار منبع فرستاده‌ایم. در اجرای ما، این بررسی پاسخِ بی‌استناد و پاسخ با منبع ناموجود را درست رد کرد.

یک چیز را این سه دروازه تضمین نمی‌کنند، و ارزیابی خودمان آن را نشان داد: استناد ثابت می‌کند پاسخ از کجا آمده، نه اینکه درست است.

ارزیابی: کوچک، ثابت و سخت‌گیر

لازم نیست از روز اول سراغ چارچوب‌های ارزیابی بروید. یک فهرست ده‌پانزده‌تایی از سؤال‌های واقعی کاربران کافی است. کنار هر سؤال دو چیز بنویسید: پاسخ در کدام بخش اسناد است (یا اینکه اصلاً نیست و دستیار باید امتناع کند)، و یک «واقعیت کلیدی» که پاسخ درست حتماً باید داشته باشد، مثل «۱۴ روز» یا «۴۲۹». بعد سه عدد را جدا از هم بسنجید:

  1. بازیابی: آیا بخش درست بین چهار نتیجهٔ اول هست؟
  2. امتناع: سؤال‌هایی که جوابشان در اسناد نیست، واقعاً رد می‌شوند؟
  3. پاسخ: پاسخ هم واقعیت کلیدی را دارد و هم به همان بخش درست استناد می‌کند؟

جدا کردن این سه عدد مهم است. وقتی امتیاز کلی پایین می‌آید، باید بدانید مشکل از قطعه‌بندی و embedding است، از آستانهٔ فاصله، یا از مدل.

ما برنامهٔ نمونه را روی چهار سند کوتاهِ یک محصول خیالی صورت‌حساب (هشت قطعه) و یازده سؤال اجرا کردیم: هشت سؤال جواب‌دار و سه سؤال که جوابشان در اسناد نیست. پیش از خواندن نتیجه یک نکته را بدانید: چون کلید API نداشتیم، embedding یک پیاده‌سازی ساختگی و قطعی بود که فقط هم‌پوشانی واژه‌ها را می‌سنجد، نه معنا را. «مدل زبانی» هم یک کلاس ساختگی بود که جمله‌ای از منابع را که بیشترین واژهٔ مشترک را با سؤال دارد برمی‌گرداند و به آن استناد می‌کند. پس این اعداد کیفیت یک RAG واقعی را نشان نمی‌دهند. چیزی که نشان می‌دهند این است که همین یازده سؤال چند نوع خطا را بیرون می‌کشد.

بازیابی: هفت سؤال از هشت سؤال جواب‌دار بخش درست را بین چهار نتیجهٔ اول داشتند. تنها خطا «Can I get my money back on a yearly subscription?» بود، در حالی که سند از «annual plans» و «refund» حرف می‌زند. این خطای مورد انتظارِ یک embedding واژه‌محور است. یک مدل واقعی احتمالاً این یکی را پیدا می‌کند و جای دیگری می‌لغزد؛ مجموعهٔ ارزیابی برای پیدا کردن همان جاهاست.

آستانه: این بخش آموزنده‌ترین قسمت بود. سؤال بی‌جواب «Can I export invoices to Excel?» با فاصلهٔ ۰٫۵۹۹ به بخش ویرایش فاکتور رسید. این فاصله از فاصلهٔ چند سؤال جواب‌دار کمتر بود؛ مثلاً «How long is a team invitation valid?» با ۰٫۸۴۳. یعنی هیچ آستانه‌ای این دو را از هم جدا نمی‌کرد:

آستانهٔ فاصله سؤال‌های جواب‌دار که می‌مانند سؤال‌های بی‌جواب که رد نمی‌شوند
۰٫۶۰ ۴ از ۸ ۱ از ۳
۰٫۷۰ ۶ از ۸ ۱ از ۳
۰٫۸۰ ۶ از ۸ ۲ از ۳
۰٫۸۵ ۷ از ۸ ۳ از ۳

دو نتیجه از این جدول بگیرید. اول، آستانه را از روی همین جدول انتخاب کنید، نه از روی عددی که در یک مقاله دیده‌اید. فاصله‌ها به مدل embedding وابسته‌اند و با عوض شدن مدل، آستانه هم باید دوباره تنظیم شود. دوم، آستانهٔ فاصله به‌تنهایی برای امتناع کافی نیست. سؤالی که واژه‌هایش با اسناد مشترک است ولی موضوعش در اسناد نیست، از این دروازه رد می‌شود. دروازهٔ دوم برای همین است.

سرتاسری: با آستانهٔ ۰٫۸۰، پنج سؤال از یازده درست جواب گرفتند. شش خطا چهار نوع بودند و هر کدام اصلاح جداگانه‌ای دارد:

  • امتناع بی‌جا: سؤال دعوت‌نامه با فاصلهٔ ۰٫۸۴۳ از آستانه رد شد، و سؤال «yearly» هم که اصلاً بازیابی نشده بود. اصلاحش در embedding و آستانه است.
  • پاسخ با استناد درست، ولی غلط: برای «Do downgrades take effect immediately?» جملهٔ مربوط به ارتقای پلن برگشت، با استنادی کاملاً معتبر به همان بخش. دروازهٔ سوم این را نمی‌گیرد؛ فقط بررسی واقعیت کلیدی آن را گرفت.
  • پاسخ درست اما ناقص: برای ویرایش فاکتور گفت «بعد از صدور قابل ویرایش نیست»، ولی راه‌حل، یعنی صدور یادداشت بستانکار (credit note)، را نیاورد. معیار ما این را خطا حساب کرد و عمداً همین سخت‌گیری را نگه داشتیم. کاربری که این جواب را بگیرد، احتمالاً باز هم تیکت باز می‌کند.
  • جواب دادن به سؤال بی‌جواب: خروجی اکسل و قیمت پلن سازمانی، هر دو با جمله‌ای بی‌ربط ولی دارای استناد جواب گرفتند. مدل ساختگی ما NOT_FOUND را فقط وقتی برمی‌گرداند که هیچ واژهٔ مشترکی پیدا نکند. اینکه یک مدل واقعی با دستور سیستمی بالا این دو را رد می‌کند یا نه، دقیقاً همان چیزی است که باید با این مجموعه روی مدل خودتان بسنجید. ما نسنجیدیم.

با مدل واقعی همین سنجش را نگه دارید و چند عادت را کنارش بگذارید. سؤال‌هایی را که در محیط واقعی بی‌جواب ماندند یا کاربر از جوابشان ناراضی بود، مرتب به مجموعه اضافه کنید. هر هفته هم چند پاسخ را یک نفر از تیم پشتیبانی بخواند. اگر از یک مدل زبانی برای داوری پاسخ‌ها استفاده می‌کنید، اول داوری‌اش را با همین بازبینی انسانی مقایسه کنید.

چه چیزی اجرا شد و چه چیزی نه

  • کامپایل و اجرا شد: برنامهٔ کنسول روی .NET SDK 10.0.404، با Microsoft.Extensions.AI.Abstractions و Microsoft.Extensions.AI.OpenAI نسخهٔ 11.0.1 و Microsoft.Data.SqlClient نسخهٔ 7.1.2. این برنامه قطعه‌بندی، embedding ساختگی، ذخیره و جست‌وجوی دقیق کسینوسی در حافظه (با همان تعریف فاصلهٔ VECTOR_DISTANCE('cosine'))، سه دروازه، بررسی استناد، ارزیابی و نرمال‌سازی فارسی را اجرا کرد. همهٔ اعداد بالا خروجی همین اجراست.
  • کامپایل شد ولی اجرا نشد: کلاس ذخیره‌سازی SQL Server با SqlVector<float>، و اتصال واقعی به OpenAI از طریق AsIEmbeddingGenerator() و AsIChatClient(). نه SQL Server در دسترس بود و نه کلید API.
  • فقط از نظر نحوی بررسی شد: اسکریپت T-SQL بالا با پارسر رسمی TSql170Parser (بستهٔ ScriptDom) بدون خطا تجزیه شد. اجرای واقعی‌اش روی SQL Server 2025 یا Azure SQL آزموده نشده است.

جمع‌بندی

برای دستیار پشتیبانی یک محصول SaaS، SQL Server امروز آنچه لازم است را دارد: نوع VECTOR و جست‌وجوی دقیق، هر دو GA. ایندکس برداری را تا وقتی حجم داده واقعاً مجبورتان نکرده، کنار بگذارید، به‌خصوص روی SQL Server 2025 که هنوز پیش‌نمایش است. وقت اصلی را صرف قطعه‌بندی بر اساس ساختار سند، تفکیک مشتری‌ها، امتناع در سه نقطه و یک مجموعهٔ ارزیابی کوچک کنید که خطاها را از هم جدا نشان بدهد. نتیجهٔ ارزیابی خود ما هم یادآوری خوبی است: پاسخی که منبع دارد، لزوماً پاسخ درستی نیست.

اگر می‌خواهید چنین دستیاری را روی اسناد محصولتان و زیرساخت .NET و SQL Server موجودتان بسازید یا دستیار فعلی‌تان را ارزیابی کنید، از صفحهٔ «سفارش سامانه» در سایت بهوندی با ما در تماس باشید.

نظرها

هنوز نظری نیست. اولین نظر را شما بنویسید.

ایمیل یا همراه فقط برای پیگیری استودیو است و روی سایت نشان داده نمی‌شود.