の高い割ファイル記述子
https://stackoverflow.com/questions/899038
-
23-08-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
Russian質問
があるのです(POSIX)を割り当てのファイル記述子の数を現在のプロセス?
知っていることがあるもののように番号をエクスは、例えば、ものを探していポータブル方法です。
理由はいいがたいて行っているすべてのファイル記述子.私のプログラムはサーバーの運行ルートやフォーク、execs子プログラムのための非rootユーザーの権限のファイル記述子の子プロセスは、セキュリティ上の問題です。一部のファイル記述子を設けることもできるコードのコントロールできない（Cライブラリを第三者との間での図書館等）、 んな FD_CLOEXEC ます。
解決
ながら携帯、閉すべてのファイル記述子を sysconf(_SC_OPEN_MAX) 品質が確保できないので、ほとんどのシステムこの呼び出しで返します現在のファイル記述子ソフトの限界が低下記最高使用ファイル記述子.もう一つの問題として多くのシステム sysconf(_SC_OPEN_MAX) を返すことが INT_MAX, るが故に、このアプローチを受け入れ難いほど遅くなります。残念なことがわかり、携帯型の代替とな繰り返し処理を行で負intファイル記述子.
ませんが、携帯、営業システムの現在一般的に使ついては、以下の解決この問題:
図書館機能 すべてのファイル記述子 >= fd.これは、最も単純な解決のための共通の場合は閉館すべてのファイル記述子が使用できませんか。すべてのファイル記述子を除き、特定のセット
dup2使用できる移動させ低末は、あらかじめ移動し、後が必要です。closefrom(fd)(Solaris9以降、FreeBSD7.3 8.0以降、NetBSD3.0以降、OpenBSD3.5以降となります。)fcntl(fd, F_CLOSEM, 0)(AIX,IRIX,NetBSD)
図書館機能の提供 最大ファイル記述子 によって現在使用されているのです。すべてのファイル記述子上にある番号は、すべてのこれまで最大、継続的に取得しやすいので、最高のファイル記述子オープまで低下した。効率に依存してファイル記述子密度が高い。
fcntl(0, F_MAXFD)(NetBSD)pstat_getproc(&ps, sizeof(struct pst_status), (size_t)0, (int)getpid())
についての情報を返します。工程を含む、最高のファイル記述子にps.pst_highestfd.(HP-UX)
A を含むディレクトリのエントリ毎のオープンしたファイル記述子.これは最も柔軟なアプローチすることができ閉会のすべてのファイル記述子は、最高のファイル記述子となることがその後の毎オープンしたファイル記述子にも、他のプロセス（ほとんどのシステム).しかしこの複雑なのアプローチの共通利用します。また、処理に失敗する可能性はさまざまな理由などproc/fdescfs実装していない、chroot環境、またはファイル記述子へのディレクトリ（プロセスやシステムの限り正確に記入してください。そのためこのアプローチであわせフォールバック機構。 例(OpenSSH), 別の例(glib).
/proc/pid/fd/または/proc/self/fd/(Linux、Solaris、AIX、Cygwin,NetBSD)
(エクスはサポートしない"self")/dev/fd/FreeBSD、ダーウィン、OS X)
することは難しくすべてに対処するためのコーナーの場合確実に---。例えば、状況をすべてのファイル記述子>= fd などが含まれていますが、すべてのファイル記述子 < fd を使用し、現在のプロセスのリソース制限が fd, がファイル記述子>= fd 使用中です。グループ資源の限界に達しているディレクトリを開くことができません。場合は閉館すべてのファイル記述子からの fd を通じてリソースの制限または
sysconf(_SC_OPEN_MAX)用いるスクフォースメンバーで漕ぎつけられるかどうかは、定休日とさせていただきます。
他のヒント
POSIXの方法があります：
int maxfd=sysconf(_SC_OPEN_MAX);
for(int fd=3; fd<maxfd; fd++)
close(fd);
（つまり、標準入力/標準出力/標準エラー出力のオープンを維持するため、最大3から閉じ者注）
クローズ（）ファイル記述子が開いていない場合は無害EBADFを返します。別のシステムコールのチェックを無駄にする必要はありません。
いくつかのUnix）が（closefromをサポートしています。これは、可能な最大ファイルディスクリプタ数に応じて）（閉じるための呼び出しの過剰な数を回避できます。私の知る最良の解決策が、それは完全に移植性です。
私はすべてのプラットフォーム固有の機能に対処するためのコードを書いています。すべての関数は非同期シグナル安全です。人々はこれは便利かもしれないと思いました。のみ、OS X上でテスト今、/修正を改善すること自由に感じています。
// Async-signal safe way to get the current process's hard file descriptor limit.
static int
getFileDescriptorLimit() {
long long sysconfResult = sysconf(_SC_OPEN_MAX);
struct rlimit rl;
long long rlimitResult;
if (getrlimit(RLIMIT_NOFILE, &rl) == -1) {
rlimitResult = 0;
} else {
rlimitResult = (long long) rl.rlim_max;
}
long result;
if (sysconfResult > rlimitResult) {
result = sysconfResult;
} else {
result = rlimitResult;
}
if (result < 0) {
// Both calls returned errors.
result = 9999;
} else if (result < 2) {
// The calls reported broken values.
result = 2;
}
return result;
}
// Async-signal safe function to get the highest file
// descriptor that the process is currently using.
// See also http://stackoverflow.com/questions/899038/getting-the-highest-allocated-file-descriptor
static int
getHighestFileDescriptor() {
#if defined(F_MAXFD)
int ret;
do {
ret = fcntl(0, F_MAXFD);
} while (ret == -1 && errno == EINTR);
if (ret == -1) {
ret = getFileDescriptorLimit();
}
return ret;
#else
int p[2], ret, flags;
pid_t pid = -1;
int result = -1;
/* Since opendir() may not be async signal safe and thus may lock up
* or crash, we use it in a child process which we kill if we notice
* that things are going wrong.
*/
// Make a pipe.
p[0] = p[1] = -1;
do {
ret = pipe(p);
} while (ret == -1 && errno == EINTR);
if (ret == -1) {
goto done;
}
// Make the read side non-blocking.
do {
flags = fcntl(p[0], F_GETFL);
} while (flags == -1 && errno == EINTR);
if (flags == -1) {
goto done;
}
do {
fcntl(p[0], F_SETFL, flags | O_NONBLOCK);
} while (ret == -1 && errno == EINTR);
if (ret == -1) {
goto done;
}
do {
pid = fork();
} while (pid == -1 && errno == EINTR);
if (pid == 0) {
// Don't close p[0] here or it might affect the result.
resetSignalHandlersAndMask();
struct sigaction action;
action.sa_handler = _exit;
action.sa_flags = SA_RESTART;
sigemptyset(&action.sa_mask);
sigaction(SIGSEGV, &action, NULL);
sigaction(SIGPIPE, &action, NULL);
sigaction(SIGBUS, &action, NULL);
sigaction(SIGILL, &action, NULL);
sigaction(SIGFPE, &action, NULL);
sigaction(SIGABRT, &action, NULL);
DIR *dir = NULL;
#ifdef __APPLE__
/* /dev/fd can always be trusted on OS X. */
dir = opendir("/dev/fd");
#else
/* On FreeBSD and possibly other operating systems, /dev/fd only
* works if fdescfs is mounted. If it isn't mounted then /dev/fd
* still exists but always returns [0, 1, 2] and thus can't be
* trusted. If /dev and /dev/fd are on different filesystems
* then that probably means fdescfs is mounted.
*/
struct stat dirbuf1, dirbuf2;
if (stat("/dev", &dirbuf1) == -1
|| stat("/dev/fd", &dirbuf2) == -1) {
_exit(1);
}
if (dirbuf1.st_dev != dirbuf2.st_dev) {
dir = opendir("/dev/fd");
}
#endif
if (dir == NULL) {
dir = opendir("/proc/self/fd");
if (dir == NULL) {
_exit(1);
}
}
struct dirent *ent;
union {
int highest;
char data[sizeof(int)];
} u;
u.highest = -1;
while ((ent = readdir(dir)) != NULL) {
if (ent->d_name[0] != '.') {
int number = atoi(ent->d_name);
if (number > u.highest) {
u.highest = number;
}
}
}
if (u.highest != -1) {
ssize_t ret, written = 0;
do {
ret = write(p[1], u.data + written, sizeof(int) - written);
if (ret == -1) {
_exit(1);
}
written += ret;
} while (written < (ssize_t) sizeof(int));
}
closedir(dir);
_exit(0);
} else if (pid == -1) {
goto done;
} else {
do {
ret = close(p[1]);
} while (ret == -1 && errno == EINTR);
p[1] = -1;
union {
int highest;
char data[sizeof(int)];
} u;
ssize_t ret, bytesRead = 0;
struct pollfd pfd;
pfd.fd = p[0];
pfd.events = POLLIN;
do {
do {
// The child process must finish within 30 ms, otherwise
// we might as well query sysconf.
ret = poll(&pfd, 1, 30);
} while (ret == -1 && errno == EINTR);
if (ret <= 0) {
goto done;
}
do {
ret = read(p[0], u.data + bytesRead, sizeof(int) - bytesRead);
} while (ret == -1 && ret == EINTR);
if (ret == -1) {
if (errno != EAGAIN) {
goto done;
}
} else if (ret == 0) {
goto done;
} else {
bytesRead += ret;
}
} while (bytesRead < (ssize_t) sizeof(int));
result = u.highest;
goto done;
}
done:
if (p[0] != -1) {
do {
ret = close(p[0]);
} while (ret == -1 && errno == EINTR);
}
if (p[1] != -1) {
do {
close(p[1]);
} while (ret == -1 && errno == EINTR);
}
if (pid != -1) {
do {
ret = kill(pid, SIGKILL);
} while (ret == -1 && errno == EINTR);
do {
ret = waitpid(pid, NULL, 0);
} while (ret == -1 && errno == EINTR);
}
if (result == -1) {
result = getFileDescriptorLimit();
}
return result;
#endif
}
void
closeAllFileDescriptors(int lastToKeepOpen) {
#if defined(F_CLOSEM)
int ret;
do {
ret = fcntl(lastToKeepOpen + 1, F_CLOSEM);
} while (ret == -1 && errno == EINTR);
if (ret != -1) {
return;
}
#elif defined(HAS_CLOSEFROM)
closefrom(lastToKeepOpen + 1);
return;
#endif
for (int i = getHighestFileDescriptor(); i > lastToKeepOpen; i--) {
int ret;
do {
ret = close(i);
} while (ret == -1 && errno == EINTR);
}
}
あなたのプログラムが起動し、何も開いていないそうです。例えば。メインのスタートのように（）。パイプやフォークはすぐに実行者のサーバーを起動します。それは、メモリおよびその他の詳細ですこの方法では、きれいで、あなただけのフォーク＆幹部にそれに物事を与えることができます。
#include <unistd.h>
#include <stdio.h>
#include <memory.h>
#include <stdlib.h>
struct PipeStreamHandles {
/** Write to this */
int output;
/** Read from this */
int input;
/** true if this process is the child after a fork */
bool isChild;
pid_t childProcessId;
};
PipeStreamHandles forkFullDuplex(){
int childInput[2];
int childOutput[2];
pipe(childInput);
pipe(childOutput);
pid_t pid = fork();
PipeStreamHandles streams;
if(pid == 0){
// child
close(childInput[1]);
close(childOutput[0]);
streams.output = childOutput[1];
streams.input = childInput[0];
streams.isChild = true;
streams.childProcessId = getpid();
} else {
close(childInput[0]);
close(childOutput[1]);
streams.output = childInput[1];
streams.input = childOutput[0];
streams.isChild = false;
streams.childProcessId = pid;
}
return streams;
}
struct ExecuteData {
char command[2048];
bool shouldExit;
};
ExecuteData getCommand() {
// maybe use json or semething to read what to execute
// environment if any and etc..
// you can read via stdin because of the dup setup we did
// in setupExecutor
ExecuteData data;
memset(&data, 0, sizeof(data));
data.shouldExit = fgets(data.command, 2047, stdin) == NULL;
return data;
}
void executorServer(){
while(true){
printf("executor server waiting for command\n");
// maybe use json or semething to read what to execute
// environment if any and etc..
ExecuteData command = getCommand();
// one way is for getCommand() to check if stdin is gone
// that way you can set shouldExit to true
if(command.shouldExit){
break;
}
printf("executor server doing command %s", command.command);
system(command.command);
// free command resources.
}
}
static PipeStreamHandles executorStreams;
void setupExecutor(){
PipeStreamHandles handles = forkFullDuplex();
if(handles.isChild){
// This simplifies so we can just use standard IO
dup2(handles.input, 0);
// we comment this out so we see output.
// dup2(handles.output, 1);
close(handles.input);
// we uncomment this one so we can see hello world
// if you want to capture the output you will want this.
//close(handles.output);
handles.input = 0;
handles.output = 1;
printf("started child\n");
executorServer();
printf("exiting executor\n");
exit(0);
}
executorStreams = handles;
}
/** Only has 0, 1, 2 file descriptiors open */
pid_t cleanForkAndExecute(const char *command) {
// You can do json and use a json parser might be better
// so you can pass other data like environment perhaps.
// and also be able to return details like new proccess id so you can
// wait if it's done and ask other relevant questions.
write(executorStreams.output, command, strlen(command));
write(executorStreams.output, "\n", 1);
}
int main () {
// needs to be done early so future fds do not get open
setupExecutor();
// run your program as usual.
cleanForkAndExecute("echo hello world");
sleep(3);
}
エグゼキュータサーバはソケットリダイレクトを行う必要があります、あなたはUnixソケットを使用することができます。
なぜあなたは0から10000、たとえば、にすべてのディスクリプタを閉じないでください。
これはかなり速いだろう、と起こる最悪の事態はEBADFです。
