ارتباط البيانات في قواعد البيانات الكبيرة

Question

نحن نحاول تحديد مواقع بعض المعلومات المخزنة في مؤسستنا من أجل تقديمها إلى امتثال لسياسات البيانات الخاصة بنا. في نهاية الملف، نستخدم Nessus للبحث من خلال ملفات مختلفة، لكنني أتساءل حول نهاية قاعدة البيانات.

يبدو أن استخدام NESSUS غير مجدولة إلى حد كبير لأنه سيخرج البيانات الأولية ولن يخبرنا عن الجدول أو الصف الذي كان عليه، أو تعطينا الكثير من المعلومات المفيدة، خاصة بالنظر إلى أن قواعد البيانات هذه كبيرة جدا (مئات الجيجابايت).

تجدر الإشارة أيضا، يجب أن يكون هذا النظام قادرا على القيام بمطابقة القائمة على النمط (مثل استخدام التعبيرات العادية). ليس مجرد محرك "البحث البكم".

لقد قمت بالتحقيق في استخدام تعدين البيانات وتسخير البيانات من أجل العثور على هذه البيانات ولكن يبدو أنهم أكثر لتحليل البيانات أكثر من مجرد العثور على البيانات.

هل هناك طريقة أفضل للبحث من خلال كميات كبيرة من البيانات في قاعدة بيانات لمحاولة العثور على هذه المعلومات؟ نحن نستخدم Oracle 11G و SQL Server 2008 وتحتاج إلى تنفيذ عمليات البحث على كليهما، لذلك أود الابتعاد عن النماذج الخاصة بالخادم (على الرغم من أنني يجب أن أعد كتابة بعض الرمز للترجمة من T-SQL إلى PL / SQL، والعكس صحيح، أنا لا أمانع)

Answer 1

على خادم SQL للبحث من خلال كميات كبيرة من النص، يمكنك النظر في البحث النص الكامل.

اقرأ المزيد هنا http://msdn.microsoft.com/en-us/library/ms142559.aspx.

ولكن إذا كنت أقرأ بشكل صحيح، فأنت ترغب في العنكبوت قاعدة البيانات الخاصة بك بطريقة مماثلة لكيفية تشغيل محرك بحث الويب مواقع الويب وصفحات الويب.

يمكنك استخدام مجموعة من استفسارات النص الكامل التي تعيد النتائج التي تمتد إلى جداول متعددة.

Answer 2

يدعم Oracle التعبير العادي مع وظيفة Regoxp_like () ويجب أن تكون واضحة إلى حد ما لأتمتة جيل التعليمات البرمجية التي تحتاجها بناء على تعيين نظام النظام (للعثور على جميع أعمدة النص على طول معين، على سبيل المثال، وتضمينها في المسند againt that table للعثور على الصفوف والقيم التي تتطابق مع regexp الخاص بك). لا يبدو تحديا جدا حقا. من الناحية النظرية، يمكنك التحقق من أعمدة تقييد لمنع إدراج القيم التي تتطابق مع regexp ولكن قد يكون ذلك مبالا.

Answer 3

يناسب نص Oracle للبحث عن الكلمات / العبارات في أجزاء من النص من النص (مثل PDF أو HTMLs أو TXT أو DOCS) الموجودة في قاعدة البيانات. هناك بعض عمليات البحث المحدودة، ولكن ليست تعبيرات منتظمة في حد ذاتها.

أنت لا تذهب حقا إلى أي نوع من البيانات التي تبحث عنها أو ما لديك في قواعد البيانات الخاصة بك. يشير Nessus إلى أنك تبحث عن مشكلات أمنية، لكن عنوان "علاقة البيانات" يقترح شيئا مختلفا تماما.

حقا يجب أن توفر هياكل البيانات المعلومات حول ما تبحث عنه وأين. هذا هو ما قواعد البيانات حول - هيكلة البيانات للحصول على إمكانية الوصول. ستكون قاعدة بيانات لدعم CMS أو برنامج المنتدى أو ما شابه ذلك غلاية مختلفة من الأسماك.