NPGSQL : Postgres Query의 스트리밍 결과?

Question

큰 테이블 (2,000,000 행)이 있으며 전체 테이블을 메모리에로드하지 않고 각 레코드를 한 번에 화면에 인쇄하고 싶습니다.

//pseudo code
var cmd = new NpgSQLCommand();
cmd.CommandText = "SELECT * FROM mytable;"
IReader reader = cmd.ExecuteReader(); //blocks until the entire set is returned

while(reader.Read()) //ideally each call to read loads more results from the db.
{
// print record name

}

따라서 위의 코드에서 언급했듯이 ExecuterEader ()는 전체 세트가 메모리에로드 될 때까지 계속되지 않습니다. 결과가 스트리밍되도록이 동작을 어떻게 변경합니까?

감사

ETA : 이것은 숙제처럼 보이지만 그렇지 않습니다. 단일 쿼리로 전체 테이블을 읽고 한 번에 행 씩 행을 처리하는 문제를 설명하는 것이 더 쉬운 방법 일뿐입니다.

ETA X2 :

NPGSQL 경고에서 : ExecuterEader와 큰 테이블을 호출 할 때 알려진 문제가 있습니다. 현재 NPGSQL의 버전 1은 반환하기 전에 테이블에서 모든 데이터를 가져옵니다. 이러한 경우 성능이 좋지 않은 경우 서버 커서를 페이지를 통해 페이지로 사용해야 할 수도 있습니다. 이를 위해 다음과 같은 코드를 사용할 수 있습니다.

Answer 1

좋아, 이것은 NPGSQL 1.0에서 알려진 문제 인 것 같습니다.

해결 방법은 서버 커서를 사용하는 것입니다.

using System;
using System.Data;
using Npgsql;

public static class NpgsqlUserManual
{
  public static void Main(String[] args)
  {
    NpgsqlConnection conn = new NpgsqlConnection("Server=127.0.0.1;Port=5432;User Id=joe;Password=secret;Database=joedata;");
    conn.Open();

    NpgsqlCommand command = new NpgsqlCommand("select version()", conn);
    String serverversion;

    try
    {
      serverversion = (String)command.ExecuteScalar();
      Console.WriteLine("PostgreSQL server version: {0}", serverversion);
    }


    finally
    {
      conn.Close();
    }
  }
}

Answer 2

NPGSQL2는 이제 큰 결과 세트를 훨씬 더 잘 처리합니다. 모든 데이터를 메모리에로드하지는 않습니다. 따라서 더 이상 서버 측 커서를 사용할 필요가 없습니다.

도움이되기를 바랍니다.

Francisco Figueiredo Jr. NPGSQL 리드 개발자

Answer 3

이 작업을 수행하는 가장 쉬운 방법은 다음과 같습니다.

COPY ( select * from Table) TO STDOUT

사본 구문을 확인하여 .CSV 또는 다른 형식으로 인쇄하는 방법을 확인하십시오 ...

Answer 4

열 이름과 값으로 전체 테이블을 인쇄하려면 다음 코드를 사용하십시오.

using (var conn = new NpgsqlConnection("Host=IPADDRESS;Username=USER;Password=PASS;Database=DBNAME;"))
        {
            conn.Open();
            using (var cmd = new NpgsqlCommand())
            {
                cmd.Connection = conn;

                cmd.CommandText = "SELECT * FROM TABLE_NAME";

                StringBuilder str;
                int count;

                using (var reader = cmd.ExecuteReader())
                {
                    while (reader.Read())
                    {
                        str = new StringBuilder();
                        count = 0;

                        while (count < reader.FieldCount) {
                            str.Append(reader.GetName(count) + ": " + reader.GetValue(count));

                            if ((count + 1) < reader.FieldCount)
                            {
                                str.Append(", ");
                            }

                            count++;
                        }

                        Console.WriteLine(str.ToString());
                        Console.WriteLine("====================");
                    }
                }
            }