Schnelles Lesen von CSV-Dateien - 1 billion row challenge in SQL and Oracle Database - bei "Gerald on IT"

-
Über die Oracle Datenbanken Monthly News bin ich auf den sehr interessanten Beitrag


gestoßen. 
In Kurzform: Es geht um das (sehr) schnelle Auswerten einer Wetterdaten-CSV-Datei mit 1 Mrd Zeilen.

Spannend daran: Beispiele, wie das Einlesen/Abfragen von external Tables beschleunigt werden kann.

Die Grundform ist:
SELECT *
 FROM EXTERNAL
 (
   (
     station_name  VARCHAR2(26),
     measurement   NUMBER(3,1)
   )
   TYPE oracle_loader
   DEFAULT DIRECTORY brc
   ACCESS PARAMETERS
   (
     RECORDS DELIMITED BY NEWLINE
     FIELDS CSV WITHOUT EMBEDDED TERMINATED BY ';'
   )
   LOCATION ('measurements.txt')
   REJECT LIMIT UNLIMITED
 ) measurements
FETCH FIRST 10 ROWS ONLY;

Um alle Zeilen sehr schnell zu lesen, gibt es folgende Verbesserungen:


- Parallelisierung
explicitly defining the parallelization level with /*+ PARALLEL (x) */
Wichtig dabei
The important part here is the WITHOUT EMBEDDED 
weil aus WITH EMBEDDED folgt intra-datafile parallelism is disabled
schaut dann so aus:
SELECT /*+ PARALLEL (32) */ COUNT(*)
  FROM EXTERNAL
  (
    (
      station_name  VARCHAR2(26),
      measurement   NUMBER(3,1)
    )
    TYPE oracle_loader
    DEFAULT DIRECTORY brc
    ACCESS PARAMETERS
    (
      RECORDS DELIMITED BY NEWLINE
      FIELDS CSV WITHOUT EMBEDDED TERMINATED BY ';'
    )
    LOCATION ('measurements.txt')
    REJECT LIMIT UNLIMITED
  ) measurements;


- Wechsel des Treibers (oracle_bigdata statt oracle_loader)
Beispiel:
CREATE TABLE measurements_ext
(
  station_name  VARCHAR2(26),
  measurement   NUMBER(3,1)
)
ORGANIZATION EXTERNAL
(
  TYPE oracle_bigdata
  DEFAULT DIRECTORY brc
  ACCESS PARAMETERS
  (
    com.oracle.bigdata.fileformat=csv
    com.oracle.bigdata.csv.rowformat.separatorcharacter=';'
  )
  LOCATION ('measurements.txt')
)
REJECT LIMIT UNLIMITED;


- auch interessant: oracle_loader mit NODIRECTIO und expliziter Spaltendefinition statt FIELDS CSV
schaut dann so aus:
SELECT /*+ PARALLEL (32) */ COUNT(*)
  FROM EXTERNAL
  (
    (
      station_name  VARCHAR2(26),
      measurement   NUMBER(3,1)
    )
    TYPE oracle_loader
    DEFAULT DIRECTORY brc
    ACCESS PARAMETERS
    (
      RECORDS DELIMITED BY NEWLINE
      IO_OPTIONS (NODIRECTIO)
FIELDS TERMINATED BY ';'
      (
        station_name CHAR(26),
        measurement  CHAR(5)
      )
    )
    LOCATION ('measurements.txt')
    REJECT LIMIT UNLIMITED
  ) measurements;


Fazit: Interessante Möglichkeiten sehr schnell auf große externe Dateien zuzugreifen.


Kommentare

Kommentar veröffentlichen

Beliebte Posts aus diesem Blog

PGA unter Oracle 11g

-
aus der Doku: Quelle: http://download.oracle.com/docs/cd/E11882_01/server.112/e16638/memory.htm#PFGRF94351 7.5 PGA Memory Management For complex queries (for example, decision support queries), a big portion of the run-time area is dedicated to work areas allocated by memory intensive operators, such as the following: * Sort-based operators, such as ORDER BY, GROUP BY, ROLLUP, and window functions * Hash-join * Bitmap merge * Bitmap create * Write buffers used by bulk load operations Sizing: A) Ideally, the size of a work area is big enough that it can accommodate the input data and auxiliary memory structures allocated by its associated SQL operator. This is known as the optimal size of a work area. B) When the size of the work area is smaller than optimal, the response time increases, because an extra pass is performed over part of the input data. This is known as the one-pass size of the work area. C) Under the one-pass threshold, when the size of a work area is far too small compar
Mehr anzeigen

trunc(sysdate) - nette Spiele mit dem Datum

-
Über die trunc-date Funktion läßt sich ausgehend von einem Datumswert sehr einfach ein abgeleiteter Datumswert ermittelt: bspw. der Jahres-, Quartals-, Monats- oder Wochenanfang. Die 11g Doku erläutert dies an zwei Stellen: http://download.oracle.com/docs/cd/B28359_01/server.111/b28286/functions209.htm#SQLRF06151 bzw. http://download.oracle.com/docs/cd/B28359_01/server.111/b28286/functions242.htm#sthref2718 So liefert select trunc(to_date('06.02.2011'),'q') from dual; das DATUM des Quartalsersten (im Bsp. den 01.01.2011). Wichtig ist, dass trunc immer ein Datum zurückliefert, keinen String. Einige Beispiele anhand des 20.Feb 2011 (ein Sonntag in der 07 KW in 2011): select trunc(to_date('20.02.2011'),'d') from dual; select trunc(to_date('20.02.2011'),'dd') from dual; select trunc(to_date('20.02.2011'),'ddd') from dual; select trunc(to_date('20.02.2011'),'mm') from dual; select trunc(to_date('20.02.2011&
Mehr anzeigen

Datapump - Verzeichnis erstellen

-
siehe auch Metalink-Doc: 266875.1 HOW TO SPECIFY A DIRECTORY IN ORACLE10G EXPORT/IMPORT DATAPUMP -------------------------------------------------------------- 1. SERVER-BASED OR CLIENT-BASED ---------------------------- The parameter DIRECTORY specifies the location to which Export DataPump or Import DataPump can write the dump file set, the log file, and the SQL file (Import DataPump only). As export DataPump and import DataPump are server-based, rather than client-based, the output files are accessed relative to server-based directory paths. Data Pump requires you to specify directory paths as directory objects. A directory object maps a name to a directory path on the file system. 2. HOW TO CREATE A DIRECTORY ------------------------- To create a directory, you must have the DBA role or you must have been granted the CREATE ANY DIRECTORY privilege. Example (a DBA creates directories on the Windows platform and grants access to user scott): SQL> CONNECT
Mehr anzeigen