如何读取日志文件,通过网络实时快?
-
21-09-2019 - |
题
我使用的是2007年德尔福,并有通过内部网络和显示异常读取几个地方日志文件的应用程序。这些目录有时包含数以千计的日志文件。该应用程序有一个选项,只从n最新的天读取日志文件位,也可以在任何日期时间范围。
的问题是,在第一时间日志目录被读出它可以是非常慢(几分钟)。所述第二时间是相当快的。
我不知道如何可以优化我的代码,以尽可能快地读取日志文件? 我使用的是vCurrentFile:TStringList中存储在内存中的文件。 因为我认为这是更快的是从一个FileStream更新。
下面是一些代码:
<强>刷新强>:主循环来读取日志文件
// In this function the logfiles are searched for exceptions. If a exception is found it is stored in a object.
// The exceptions are then shown in the grid
procedure TfrmMain.Refresh;
var
FileData : TSearchRec; // Used for the file searching. Contains data of the file
vPos, i, PathIndex : Integer;
vCurrentFile: TStringList;
vDate: TDateTime;
vFileStream: TFileStream;
begin
tvMain.DataController.RecordCount := 0;
vCurrentFile := TStringList.Create;
memCallStack.Clear;
try
for PathIndex := 0 to fPathList.Count - 1 do // Loop 0. This loops until all directories are searched through
begin
if (FindFirst (fPathList[PathIndex] + '\*.log', faAnyFile, FileData) = 0) then
repeat // Loop 1. This loops while there are .log files in Folder (CurrentPath)
vDate := FileDateToDateTime(FileData.Time);
if chkLogNames.Items[PathIndex].Checked and FileDateInInterval(vDate) then
begin
tvMain.BeginUpdate; // To speed up the grid - delays the guichange until EndUpdate
fPathPlusFile := fPathList[PathIndex] + '\' + FileData.Name;
vFileStream := TFileStream.Create(fPathPlusFile, fmShareDenyNone);
vCurrentFile.LoadFromStream(vFileStream);
fUser := FindDataInRow(vCurrentFile[0], 'User'); // FindData Returns the string after 'User' until ' '
fComputer := FindDataInRow(vCurrentFile[0], 'Computer'); // FindData Returns the string after 'Computer' until ' '
Application.ProcessMessages; // Give some priority to the User Interface
if not CancelForm.IsCanceled then
begin
if rdException.Checked then
for i := 0 to vCurrentFile.Count - 1 do
begin
vPos := AnsiPos(MainExceptionToFind, vCurrentFile[i]);
if vPos > 0 then
UpdateView(vCurrentFile[i], i, MainException);
vPos := AnsiPos(ExceptionHintToFind, vCurrentFile[i]);
if vPos > 0 then
UpdateView(vCurrentFile[i], i, HintException);
end
else if rdOtherText.Checked then
for i := 0 to vCurrentFile.Count - 1 do
begin
vPos := AnsiPos(txtTextToSearch.Text, vCurrentFile[i]);
if vPos > 0 then
UpdateView(vCurrentFile[i], i, TextSearch)
end
end;
vFileStream.Destroy;
tvMain.EndUpdate; // Now the Gui can be updated
end;
until(FindNext(FileData) <> 0) or (CancelForm.IsCanceled); // End Loop 1
end; // End Loop 0
finally
FreeAndNil(vCurrentFile);
end;
end;
<强>的UpdateView方式:添加一行到displaygrid
{: Update the grid with one exception}
procedure TfrmMain.UpdateView(aLine: string; const aIndex, aType: Integer);
var
vExceptionText: String;
vDate: TDateTime;
begin
if ExceptionDateInInterval(aLine, vDate) then // Parse the date from the beginning of date
begin
if aType = MainException then
vExceptionText := 'Exception'
else if aType = HintException then
vExceptionText := 'Exception Hint'
else if aType = TextSearch then
vExceptionText := 'Text Search';
SetRow(aIndex, vDate, ExtractFilePath(fPathPlusFile), ExtractFileName(fPathPlusFile), fUser, fComputer, aLine, vExceptionText);
end;
end;
来决定的方法如果行处于日期范围:
{: This compare exact exception time against the filters
@desc 2 cases: 1. Last n days
2. From - to range}
function TfrmMain.ExceptionDateInInterval(var aTestLine: String; out aDateTime: TDateTime): Boolean;
var
vtmpDate, vTmpTime: String;
vDate, vTime: TDateTime;
vIndex: Integer;
begin
aDateTime := 0;
vtmpDate := Copy(aTestLine, 0, 8);
vTmpTime := Copy(aTestLine, 10, 9);
Insert(DateSeparator, vtmpDate, 5);
Insert(DateSeparator, vtmpDate, 8);
if TryStrToDate(vtmpDate, vDate, fFormatSetting) and TryStrToTime(vTmpTime, vTime) then
aDateTime := vDate + vTime;
Result := (rdLatest.Checked and (aDateTime >= (Now - spnDateLast.Value))) or
(rdInterval.Checked and (aDateTime>= dtpDateFrom.Date) and (aDateTime <= dtpDateTo.Date));
if Result then
begin
vIndex := AnsiPos(']', aTestLine);
if vIndex > 0 then
Delete(aTestLine, 1, vIndex + 1);
end;
end;
测试,如果FILEDATE是内部范围:
{: Returns true if the logtime is within filters range
@desc Purpose is to sort out logfiles that are no idea to parse (wrong day)}
function TfrmMain.FileDateInInterval(aFileTimeStamp: TDate): Boolean;
begin
Result := (rdLatest.Checked and (Int(aFileTimeStamp) >= Int(Now - spnDateLast.Value))) or
(rdInterval.Checked and (Int(aFileTimeStamp) >= Int(dtpDateFrom.Date)) and (Int(aFileTimeStamp) <= Int(dtpDateTo.Date)));
end;
解决方案
速度有多快,你想要的?如果你想成为真快,那么你需要使用的东西,除了网络读取这些文件的窗口。原因是,如果你想读(因为你读它最后一次或所有行)日志文件的最后一行,那么你需要再次读取整个文件。
在你的问题你说的问题是,它是缓慢枚举目录列表。这是你的第一个瓶颈。如果你想成为真正的快,那么你需要或者切换到HTTP或添加某种日志服务器到日志文件的存储设备。
使用HTTP的好处是你可以做的一系列请求,并刚刚获得上次请求它的是添加日志文件的新线。这将真正提高性能,因为要传输较少的数据(尤其是如果启用HTTP压缩),你也有较少的数据在客户端处理。
如果您添加某种类型的日志服务器,则该服务器可以做在服务器端,它具有对数据的本地访问的处理,只有返回的日期范围内的行。这样做的一个简单的方法可能是只是把你登录到某种类型的SQL数据库,然后运行查询反对。
那么,如何快速做,你想去吗?
其他提示
问题是不是你的逻辑,但在底层文件系统。
当你把许多文件的目录大多数文件系统变得很慢。这是非常糟糕与FAT,NTFS,但也从中受到影响,特别是如果你有成千上万的文件目录中。
你能做的最好的是按年龄重组的目录结构,例如。
然后有至多几个100个文件中的每个目录中。
- 的Jeroen