بهینه‌سازی مصرف حافظه در برنامه‌های مشاهده اسناد در مقیاس بزرگ

هزاران PDF، فایل‌های Office یا نقشه‌های CAD برای نمایش در یک پورتال مبتنی بر .NET دارید؟ و نمی‌خواهید سرور شما به RAM ختم شود؟ راه حل ترکیب پخش تنبل، افزونه‌های هدفمند و خط لوله رندر بهینه‌شده Doconut است. در بخش‌های بعدی به مشکلات مرتبط با حافظه که در برنامه‌های مقیاس‌پذیر سازمانی و پر از اسناد بروز می‌کند می‌پردازیم، سپس نشان می‌دهیم چگونه Doconut—نمایشگر جهانی اسناد برای بک‌اندهای .NET—موانعی که نمایشگرهای سنتی را از مقیاس‌پذیری باز می‌دارد، حذف می‌کند. همچنین یک دوره آزمایشی رایگان در انتظار شماست اگر می‌خواهید مزایا را در تنظیمات خود ببینید.

---

درک فشار حافظه در نمایشگرهای اسناد .NET

پورتال‌های بزرگ اسناد اغلب کل فایل را قبل از ظاهر شدن صفحه اول به حافظه می‌کشند. یک نقشه CAD ۲۰۰ مگابایتی یا یک PDF ۵۰۰ صفحه‌ای می‌تواند به سرعت جمع‌کننده زباله .NET را غرق کند، توقف‌های کامل GC را فعال سازد و شما را مجبور به فراهم‌سازی بیش از حد سرورها کند.

چرا مدل رندر پیش‌فرض .NET مقیاس‌پذیری را تحت‌تأثیر قرار می‌دهد

علامت	دلیل معمول در پیاده‌سازی‌های ساده
استثنای کمبود حافظه	آرایه‌های بایتی کل فایل که در کش ثابت نگه داشته می‌شوند
بارگذاری کند صفحه اول	رمزگشایی کل سند قبل از رندر
کمبود منابع استخر رشته‌ها	رندرهای طولانی‌مدت وابسته به CPU مسیرهای ناهمزمان را مسدود می‌کند
افزایش‌های غیرقابل پیش‌بینی تأخیر	جمع‌آوری زباله اشیاء بزرگ ثابت‌شده توسط GC

اگر افزونه‌های حاشیه‌نویسی یا OCR را اضافه کنید که بیت‌مپ‌های تصویر را انبار می‌کنند، فشار چند برابر می‌شود. نقطهٔ مناسب این است که فقط آنچه کاربر در حال حاضر نیاز دارد را پردازش کنید و هر بافر میانی را کوتاه‌مدت نگه دارید.

پاسخ Doconut: هسته‌ای سبک و بهینه‌شده از نظر وابستگی‌ها

معماری مبتنی بر .NET 6 Doconut بازسازی شد تا تخصیص‌های heap را کاهش دهد:

• بهینه‌سازی وابستگی‌ها – کتابخانه فقط ماژول‌های رندر مورد نیاز برای نوع فایل جاری (PDF، Office، CAD، تصویر) را بارگذاری می‌کند. افزونه‌های استفاده نشده در حافظه باقی نمی‌مانند و ردپای پردازش را کوچک نگه می‌دارند.
• طراحی مبتنی بر جریان – فایل‌ها به‌عنوان جریان باز می‌شوند، نه به‌صورت آرایه‌های بایتی کامل، بنابراین زمان اجرا می‌تواند داده‌ها را به‌صورت تقاضا از دیسک صفحه‌بندی کند.
• پشتیبانی از کارهای پس‌زمینه – وظایف تبدیل سنگین می‌توانند به پردازش‌های کارگر یا Azure Functions منتقل شوند و لایه وب را برای مشاهده تعاملی آزاد می‌گذارند.

زمانی که نمایشگر را با الگوهای ناهمزمان .NET هماهنگ می‌کنید، Doconut به شما امکان می‌دهد هزاران نشست همزمان را بر روی یک خوشه VM متوسط سرو کنید.

چگونه بارگذاری تنبل را فعال کنیم

1. ثبت میدلور Doconut در خط لوله ASP.NET Core خود. این میدلور درخواست‌های نمایشگر را رهگیری می‌کند و سرویس‌های لازم را تزریق مینماید.
2. باز کردن اسناد به‌صورت جریان به‌جای بارگذاری کل فایل. متد OpenDocument Doconut مسیر فایل یا یک جریان را می‌پذیرد و توکنی که نمایانگر سند باز شده است برمی‌گرداند.
3. درخواست صفحات به‌صورت تقاضا از سمت کلاینت. وقتی فرانت‌اند صفحه‌ای خاص را می‌خواهد، Doconut فقط اشیای مورد نیاز را می‌خواند، تصویر رستر را رندر می‌کند و یک تصویر بندانگشتی سبک برمی‌گرداند.

از آنجا که نمایشگر با جریان‌ها کار می‌کند، می‌توانید فایل‌ها را در Azure Blob Storage، Amazon S3 یا یک NAS داخلی بدون کپی به دیسک محلی سرور وب نگه دارید. سیستم‌عامل صفحه‌بندی را انجام می‌دهد و زمان اجرا .NET فقط بافرهای کوچک مورد نیاز برای صفحه فعال را نگه می‌دارد.

مزایا برای استقرارهای مقیاس‌پذیر

مزیت	چگونه Doconut این را به‌دست می‌آورد
استفاده پیش‌بینی‌پذیر از RAM	کش صفحه با اندازه ثابت + دسترسی فقط به جریان
رندر سریع صفحه اول	فقط هدر سند و اشیای صفحه اول را می‌خواند
قابلیت مقیاس‌پذیری در مرورگرها	منطق مبتنی بر جریان برای فرانت‌اندهای HTML5/React، Angular یا Vue یکسان کار می‌کند
کاهش فشار GC	بدون آرایه‌های بایتی بزرگ ثابت؛ تمام بافرها کوتاه‌مدت هستند

بارگذاری تنبل را با کارهای تبدیل پس‌زمینه ترکیب کنید و لایه وب هرگز در تبدیل‌های سنگین CPU متوقف نمی‌شود.

افزونه‌های حاشیه‌نویسی و OCR .NET بدون بار اضافی

سازمان‌ها حاشیه‌نویسی و OCR قابل جستجو را دوست دارند، اما رویکرد ساده یک بیت‌مپ با وضوح کامل از هر صفحه را در حافظه نگه می‌دارد فقط برای کشیدن هایلایت یا اجرای تشخیص متن. مدل افزونه Doconut این ویژگی‌ها را به سرویس‌های مستقل و بر‑تقاضا جدا می‌کند.

حاشیه‌نویسی – مدیریت سبک، صفحه به صفحه

هنگامی که صفحه‌ای بارگذاری می‌شود، می‌توانید یک مدیر حاشیه‌نویسی بازیابی کنید که فقط داده‌های برداری (مختصات، سبک، یادداشت‌ها) را نگه می‌دارد. افزودن مهر یا هایلایت این ذخیره‌سازی برداری را به‌روزرسانی می‌کند؛ بیت‌مپ زیرین هرگز تکرار نمی‌شود. Doconut صفحه را با لایهٔ پوششی فقط زمانی که کلاینت درخواست می‌کند دوباره رندر می‌کند، بنابراین حتی یک PDF ۵۰۰ صفحه‌ای با هزاران حاشیه‌نویسی فقط بخش کوچکی از حافظه‌ای که یک راه‌حل مبتنی بر بیت‌مپ نیاز دارد مصرف می‌کند.

OCR – استخراج متن به‌صورت لحظه‌ای

افزونه جستجو OCR را فقط بر روی صفحاتی که کاربر به آن‌ها اسکرول می‌کند اجرا می‌کند. شما وضوح تصویر موردنظر (مثلاً ۲۰۰ dpi) را در گزینه‌های سند تنظیم می‌کنید و Doconut متن صفحه جاری را استخراج می‌کند و نتیجه را در یک فهرست فشرده مرتبط با توکن سند ذخیره مینماید. فرآیند OCR از رندر جدا شده است، که به شما امکان می‌دهد آن را به‌صورت افقی مقیاس‌پذیر کنید (مثلاً از طریق Azure Functions) بدون افزایش ردپای حافظهٔ سرور وب که نمایشگر را سرویس می‌دهد.

چرا این برای سازمان‌های بزرگ مهم است

• هزینه پیش‌بینی‌پذیر – حاشیه‌نویسی و OCR به‌صورت صفحه به صفحه اجرا می‌شوند، نه به‌صورت سندی، که مصرف حافظه را به‌صورت خطی نسبت به محتوای قابل مشاهده نگه می‌دارد.
• آمادگی برای انطباق – حاشیه‌نویسی‌ها به‌صورت XML ذخیره می‌شوند که بررسی‌ها یا حذف‌ها را ساده می‌کند.
• ایمنی چندمستاجری – توکن هر مستاجر فهرست OCR خود را جدا می‌کند و از نشت داده بین مستاجران جلوگیری می‌کند.

تبدیل سمت سرور و چاپ کنترل‌شده: حفظ کارایی بارهای کاری

بسیاری از پورتال‌ها نیاز دارند فایل‌های Office، نقشه‌های CAD یا پیام‌های ایمیل را به PDF یا فرمت‌های تصویری برای رندر یکنواخت تبدیل کنند. یک دام رایج این است که تبدیل را درون‌فرآیند انجام دهند که باعث افزایش ناگهانی RAM و CPU می‌شود در حالی که کاربر منتظر است. افزونه مبدل Doconut کار سنگین را به یک سرویس سمت سرور می‌سپارد که می‌توانید به‌صورت افقی مقیاس‌پذیر کنید.

تبدیل بدون بارگذاری کل فایل منبع

API تبدیل مسیرهای منبع و هدف (یا جریان‌ها) را می‌پذیرد و به‌صورت جریان‌محور کار می‌کند، بنابراین فایل منبع هرگز به‌صورت کامل در حافظه مادی نمی‌شود. پس از آماده شدن PDF (یا فرمت هدف دیگر)، نمایشگر آن را با استفاده از همان تکنیک بارگذاری تنبل که پیش‌تر توضیح داده شد باز می‌کند.

چاپ کنترل‌شده – جلوگیری از رستر‌سازی کامل سند

هنگام چاپ PDFهای بزرگ، Doconut کارهای چاپ صفحه به صفحه را به درایور چاپگر می‌فرستد. این روش به شما امکان می‌دهد سهمیه‌ها یا واترمارک‌ها را اعمال کنید بدون اینکه کل سند را در RAM بارگذاری کنید.

مقیاس‌پذیری سطح سازمانی

سناریو	تکنیک صرفه‌جویی در حافظه Doconut
تبدیل دسته‌ای ۱۰٬۰۰۰ فایل Office	از کارگرهای پس‌زمینه با تبدیل مبتنی بر جریان استفاده کنید؛ هر کارگر یک فایل را در هر بار پردازش می‌کند و RAM کم می‌ماند.
چاپ بر‑تقاضای نقشه‌های CAD پنج رقمی	چاپ از طریق جریان صفحه؛ رستر کامل نقشه لازم نیست.
پورتال SaaS چندمستاجری	صف‌های تبدیل جداگانه برای هر مستاجر؛ جداسازی حافظه به‌صورت خودکار است زیرا هر کار بر روی جریان خود کار می‌کند.

بهترین روش‌ها برای مقیاس‌پذیری Doconut در محیط‌های سازمانی

حتی با یک موتور کارآمد در مصرف حافظه، استقرارهای واقعی به چند راهنمایی نیاز دارند. در زیر روش‌های اثبات‌شده‌ای آورده شده است که نقاط قوت داخلی Doconut را تقویت می‌کند.

1. محدود کردن اندازه کش صفحه در هر نشست

نمایشگر را طوری پیکربندی کنید که فقط جدیدترین صفحات را در حافظه نگه دارد. کاهش اندازه کش مستقیماً مصرف RAM در هر نشست را پایین می‌آورد.

2. اجرای OCR و تبدیل در میکروسرویس‌های جداگانه

افزونه جستجو و افزونه مبدل را به‌عنوان کانتینرهای جداگانه پشت یک صف پیام (RabbitMQ، Azure Service Bus و غیره) مستقر کنید. این کار افزایش‌های حافظه را جدا می‌کند و به شما امکان می‌دهد هر مؤلفه را به‌صورت مستقل مقیاس‌پذیر کنید.

3. فعال‌سازی Trim و ReadyToRun در .NET 6

هنگام انتشار API مبتنی بر Doconut، Trim را فعال کنید تا ILهای استفاده‌نشده حذف شوند و ردپای باینری کوچک شود:

dotnet publish -c Release -r win-x64 --self-contained true /p:PublishTrimmed=true

نتیجه‌گیری

بهینه‌سازی مصرف حافظه برای هر راه‌حل مشاهده اسناد در مقیاس بزرگ ضروری است. با بهره‌گیری از معماری مبتنی بر جریان Doconut، هسته بهینه‌شده از نظر وابستگی‌ها و افزونه‌های حاشیه‌نویسی/OCR بر‑تقاضا، می‌توانید مصرف RAM را پیش‌بینی‌پذیر نگه دارید در حالی که تجربه‌های مشاهده سریع و پاسخگو را ارائه می‌دهید. الگوهای بهترین روش پیشنهادی—کش توکن توزیع‌شده، کش‌گذاری محدود صفحات، جداسازی میکروسرویس‌ها و ساخت‌های به‌دست‌آمده با Trim—را پیاده‌سازی کنید و پتانسیل کامل مقیاس‌پذیری Doconut را باز خواهید کرد.

آماده‌اید تفاوت را خودتان ببینید؟ امروز دورهٔ آزمایشی رایگان Doconut را شروع کنید و تجربهٔ مشاهده اسناد با حافظه کم و عملکرد بالا را در برنامه‌های .NET خود داشته باشید.