将CSV文件中的内容加载到PostgreSQL表中

Question

下面是我尝试将文件中的数据加载到运行在Linux RedHat 7.2主机上的PostgreSQL 8.0数据库中的过程的描述。

现在，我的问题是FOR EVERY ROW触发器正在调用并且该过程正在执行。

然而，我希望它做的事情是让它检查我的表的相应行，一旦我给出了文件名，并根据记录的内容决定是否仅执行DUMP BULK DATA或DUMP WHOLE CSV FILE一次（在触发器上）。

请帮我解决这个问题...

我logfile.tmp如下：

27/Apr/2013:17:03:42 +0530#192.168.1.3#16#[email protected]#$http://localhost/images/ 
    [email protected]#$10.1ff.ff.ff#-#Y#- 
27/Apr/2013:17:03:42 +0530#192.168.1.3#16#[email protected]#$http://localhost/images/ 
    [email protected]#$10.ff.ff.2ff05#-#Y#- 

我使用COPY命令：

/usr/local/pgsql/bin/psql localhost -d d1 -U u1 -tc "COPY tblaccesslog (accesstime, clientip, username, request,bytes, urlpath, url, contenttype, issite, webcatname) FROM 'logfile.tmp' WITH DELIMITER AS '#';" >> /tmp/parselog.log 2>&1 

中的触发器（insert_accesslog_trigger）问题：

insert_accesslog_trigger BEFORE INSERT ON tblaccesslog FOR EACH ROW EXECUTE PROCEDURE accesslog_insert_trigger() 

最后的触发功能（accesslog_insert_trigger()）正在使用：

accesslog_insert_trigger() 
DECLARE 
     tablemaxtuples NUMERIC(10); 
     tableno NUMERIC(10); 
     newtable TEXT; 
     query TEXT; 
     tablecount NUMERIC(10); 
     min_limit NUMERIC(10); 
     max_limit NUMERIC(10); 
BEGIN 

     tablemaxtuples := 100000; 
    tableno := (NEW.id - (NEW.id % tablemaxtuples))/tablemaxtuples +1; 
    newtable := 'tblaccesslog'||to_char(CURRENT_DATE,'YYYYMMDD')||'_child_'||tableno; 

     SELECT trim(count(tablename)) INTO tablecount FROM pg_tables WHERE tablename=newtable ; 
    IF tablecount = 0 
    THEN 
       min_limit := (tableno-1)*tablemaxtuples; 
       max_limit := min_limit + tablemaxtuples; 
           query := 'CREATE TABLE '||newtable||'(PRIMARY KEY (id),CHECK (id >= '||min_limit||' AND id <'||max_limit||' )) INHERITS (tblaccesslog)'; 
     EXECUTE query; 
    END IF; 

    query := 'INSERT INTO '|| newtable ||' (id, username, clientip, url, accesstime, requestbytes, contenttype, issite, urlpath, webcatname) VALUES ('||NEW.id||','''||NEW.username||''','''||NEW.clientip||''','''||NEW.url||''','''||NEW.accesstime||''','''||NEW.requestbytes||''','''||NEW.contenttype||''','''||NEW.issite||''','''|| replace(NEW.urlpath,'\'','') ||''','''||NEW.webcatname||''')'; 
    EXECUTE query; 
    RETURN NULL; 

END; 

Answer 1

的PostgreSQL documentation overview of triggers明确表示没有触发类型适合你的要求：FOR EACH ROW触发将一如它的名字一样，可以一次执行每行以及手册页状态“语句级触发器目前没有任何方法来检查由语句修改的单个行。”

但是，您可以改为将实际的COPY命令放入函数中。该功能可以将COPY TO作为一个临时表，然后执行相应的步骤以确定应从哪里开始。

然后你的复制命令（我猜测是在cron作业或类似的）只会运行SELECT bulk_insert_access_log();而不是当前列出的长行。