Daten Korrelation in großen Datenbanken

Question

Wir versuchen, die Positionen bestimmter Informationen über unser Unternehmen, um es zu bringen, in unseren Datenrichtlinien Einhaltung gespeichert zu identifizieren. Auf dem Dateiende, verwenden wir Nessus durch unterschiedliche Dateien zu suchen, aber ich frage mich, auf der Datenbank Ende zu.

Nessus Verwendung wäre weitgehend sinnlos erscheinen, weil sie ausgeben würde, die Rohdaten und würde uns nicht sagen, welche Tabelle oder Zeile, es war in, oder uns viele nützliche Informationen geben, besonders wenn man bedenkt diese Datenbanken sehr groß sind (Hunderte von Gigabyte).

Auch erwähnenswert, muss dieses System in der Lage sein zu tun Muster basiertes Matching (wie mit regulären Ausdrücken). Nicht nur eine „dumme Suche“ Motor.

Ich habe die Verwendung von Data Mining und Data Warehousing untersucht, um diese Daten zu finden, aber es scheint, als ob sie mehr für die Analyse der Daten sind, als tatsächlich nur Daten zu finden.

Gibt es eine bessere Methode in einer Datenbank durch große Datenmengen suchen, diese Informationen zu suchen und finden? Wir verwenden sowohl Oracle 11g und SQL Server 2008 und müssen die Suche auf beiden ausführen, so mag ich von serverspezifischen Paradigmen bleiben weg (obwohl, wenn ich einige Codes neu zu schreiben von T-SQL auf PL zu übersetzen / SQL, und umgekehrt, ich habe nichts dagegen)

Answer 1

Auf SQL Server für durch große Mengen von Text suchen, können Sie die Volltextsuche suchen.

Lesen Sie hier mehr http://msdn.microsoft.com/en- us / library / ms142559.aspx

Aber wenn ich richtig lese, möchten Sie Ihre Datenbank in einer ähnlichen Art und Weise, wie ein Web-Suchmaschinen Web-Sites und Web-Seiten zur Spinne.

Sie können eine Reihe von Volltextabfragen verwenden, die die Ergebnisse über mehrere Tabellen bringen.

Answer 2

Oracle regulären Ausdruck mit der REGEXP_LIKE () Funktion und es sein sollte recht unkompliziert unterstützt die Generierung des Codes zu automatisieren Sie auf System Metadate basieren müssen (um alle Textspalten über eine bestimmte Länge zu finden, zum Beispiel, und schließen sie in einem Prädikat againt dieser Tabelle die Zeilen und Werte zu finden, die Ihren regexp übereinstimmen). Nicht zu anspruchsvoll klingt wirklich. Theoretisch könnten Sie Spalten überprüfen einschränken das Einfügen von Werten zu verhindern, die einen regulären Ausdruck passen, aber das könnte zu viel des Guten.

Answer 3

Oracle Text ist geeignet für die Suche nach Wörtern / Phrasen in larg (ish) Bits von Text (zB PDFs, HTMLs, TXT oder DOC) in der Datenbank gespeichert. Es gibt einige begrenzte Unschärfen Suche, aber keine regulären Ausdrücke per se.

Sie gehen nicht wirklich in welche Art von Daten, die Sie suchen oder was Sie in Ihren Datenbanken haben. Nessus zeigt Ihnen für Sicherheitsfragen suchen, aber der Titel „Data Correlation“ legt nahe, etwas ganz anderes.

Wirklich die Datenstrukturen sollten die Informationen über das, was Sie suchen und wo. Das ist, was Datenbanken sind über - Strukturierung von Daten für die Zugänglichkeit. Eine Datenbank ein CMS, Forum-Software sichern oder ähnlich ein anderer Kessel der Fische sein würde.