doc-scraper: زاحف يذهب لبناء سياق الوثائق المحلية لـ LLMs
doc-scraper، بواسطة Sriram PR، يجمع وثائق المواقع التقنية ويعدها لتدفقات العمل المدعومة بالذكاء الاصطناعي. يقوم التطبيق بالزحف إلى مواقع الوثائق واستخراج المحتوى القابل للقراءة المحسن للاستخدام كنموذج سياقي، مستهدفًا المطورين وباحثي الذكاء الاصطناعي. يؤكد على مخرجات نظيفة وقابلة للبحث ومخزن معرفة محلي حتى تتمكن المساعدات المعتمدة على المحرر من الوصول إلى المواد المرجعية ذات الصلة دون سحب صفحات ويب مزعجة أثناء بناء المطالبات.
تحويل HTML الموقع إلى Markdown منظم مناسب لسياق النموذج
الأداة عبارة عن زاحف مبني على Go يقوم بتحويل HTML الوثائق إلى Markdown منظم، مع إزالة أشرطة التنقل والتذييلات وغيرها من العناصر غير المحتوى. يحافظ التحويل على العناوين والشيفرة المضمنة بينما يقلل من الضوضاء النصية، مما ينتج عنه ملفات نصية مضغوطة تحتفظ بالسياق الملاحي من خلال عناوين وروابط نظيفة لتسهيل الاسترجاع والإشارة من قبل سير العمل للنموذج في الأسفل.
تجعل إمكانية البحث واكتشاف التغييرات النصوص موثوقة للوكلاء
تدمج التطبيق بحث BM25 غير المتصل بالإنترنت المنفذ عبر SQLite FTS5، مما يمكّن الاستعلامات المحلية ضد النصوص التي تم زحفها دون الحاجة إلى الوصول إلى الإنترنت. تدعم استمرارية الحالة مع BadgerDB وSQLite العمليات القابلة للاستئناف وفهرس التاريخ. يحدد آلية الفرق المدركة للمحتوى التغييرات الفعلية في الصفحة بدلاً من الاعتماد فقط على الطوابع الزمنية، مما يقلل من التنزيلات المكررة ويحتفظ بالنص المحلي مركزًا على التعديلات الجوهرية.
تعريف أنماط الإدخال وحدود الزحف حيث ينجح
تكتشف doc-scraper تلقائيًا أطر الوثائق مثل Docusaurus وMkDocs وSphinx وGitBook وReadTheDocs، وتستخدم مستخرجًا قائمًا على قابلية القراءة على المواقع غير المألوفة. يعمل الزحف بالتوازي مع إدارة الموارد المشتركة وحدود معدل مدمجة، ويحترم الزاحف robots.txt ليبقى مهذبًا. تعطي هذه الحدود الأولوية لاستخراج المحتوى ذي الصلة بالمطورين مع تجنب الحمل الزائد على الشبكة.
استضافة MCP المحلية تناسب سير العمل المعتمد على المحرر واحتياجات الخصوصية
عند تشغيله في وضع الخادم، يعمل التطبيق كخادم بروتوكول سياق النموذج بحيث يمكن للوكلاء المحليين قراءة والبحث في الوثائق داخل المحررين. يحافظ تصميم قاعدة المعرفة المحلية وغير المتصلة بالإنترنت على الوثائق القابلة للبحث متاحة للوكلاء مثل Claude Desktop وClaude Code وCursor، مما يقلل من الاعتماد على الاسترجاع عن بُعد. تُلاحظ الأداة في مجتمعات مطوري Go وAI لإنتاجها مخرجات نظيفة على المواقع التي تكافح معها زواحف أخرى.
الأكثر ملاءمة للمطورين المتمكنين تقنيًا الذين يمكنهم بناء واستضافة السياق المحلي
doc-scraper هو خيار عملي للمطورين والباحثين الذين يحتاجون إلى وثائق موثوقة، مستضافة محليًا كسياق نموذج. نظرًا لأن الأداة تتطلب البناء من المصدر باستخدام Go (الإصدار 1.25 أو أحدث)، فإنها تفضل المستخدمين القادرين تقنيًا؛ يجب على الفرق التي لا تستطيع تجميع مشاريع Go توقع عبء إعداد. يجب على المستخدمين فحص المقاطع المقتطفة قبل استخدامها كمدخلات نموذج موثوقة.
