为什么Cassanda不会加载CSV文件中的所有值？

问题描述：

我刚刚开始使用Cassandra（单节点安装，2.0.9版本）。我试图从CSV文件中将数据加载到COLUMNFAMILY中，但注意到它实际上只加载了239595行中的2个。我不明白为什么。我会很感激任何提示。为什么Cassanda不会加载CSV文件中的所有值？

cqlsh控制台输出：从CSV

负载数据

cqlsh:keyspace_test1> COPY invoices (date, product_id, customer_id, quantity, sales) FROM '/home/martakarass/Desktop/invoices.csv'; 
239595 rows imported in 1 minute and 52.766 seconds.

通知，SELECT仅显示2行

cqlsh:keyspace_test1> SELECT * FROM invoices limit 10; 

date  | customer_id | product_id | quantity | sales 
----------+-------------+---------------+----------+-------- 
2/1/2015 | Client_100 | Product_15702 |  6 | 123.42 
1/9/2015 | Client_998 | Product_43550 |  3000 | 15.368 

(2 rows)

检查与计数，不是所有的行已被装入

cqlsh:keyspace_test1> SELECT count(*) FROM invoices; 

count 
------- 
    2 

(1 rows) 

cqlsh:keyspace_test1>

（更新）表的详细信息：

cqlsh:keyspace_test1> DESCRIBE COLUMNFAMILY keyspace_test1.invoices; 

CREATE TABLE invoices (
    date text, 
    customer_id text, 
    product_id text, 
    quantity int, 
    sales float, 
    PRIMARY KEY ((date)) 
) WITH 
    bloom_filter_fp_chance=0.010000 AND 
    caching='KEYS_ONLY' AND 
    comment='' AND 
    dclocal_read_repair_chance=0.100000 AND 
    gc_grace_seconds=864000 AND 
    index_interval=128 AND 
    read_repair_chance=0.000000 AND 
    replicate_on_write='true' AND 
    populate_io_cache_on_flush='false' AND 
    default_time_to_live=0 AND 
    speculative_retry='99.0PERCENTILE' AND 
    memtable_flush_period_in_ms=0 AND 
    compaction={'class': 'SizeTieredCompactionStrategy'} AND 
    compression={'sstable_compression': 'LZ4Compressor'};

也分享表的详细信息， DESCRIBE COLUMNFAMILY keyspace_test1.invoices; – 2015-03-31 08:31:34

我用'DESCRIBE COLUMNFAMILY keyspace_test1.invoices;'（在从CSV文件中加载这些“两”行之后）的输出更新了我的评论。 – 2015-03-31 09:00:18

你可以发布'top invoices.csv'的输出吗？ – Aaron 2015-03-31 11:34:49

答

我要大胆猜测，日期是不是在你的invoices.csv文件唯一。当我创建一个类似的表：

CREATE TABLE stackoverflow.invoices (
    date timestamp PRIMARY KEY, 
    amount bigint, 
    id bigint 
)

我使用具有4行这样一个CSV文件：

date|id|amount 
2015-03-30 00:00:00-0500|1|4500 
2015-03-31 00:00:00-0500|2|5500 
2015-03-31 00:00:00-0500|3|6600 
2015-03-31 00:00:00-0500|4|7500

接下来，我将它们导入与COPY FROM：

[email protected]:stackoverflow> COPY invoices (date, id, amount) FROM 
    '/home/aploetz/invoices.csv' WITH DELIMITER='|' AND HEADER=true; 

4 rows imported in 0.035 seconds.

我应该有4行，对吗？错误。

[email protected]:stackoverflow> SELECT * FROm invoices; 

date      | amount | id 
--------------------------+--------+---- 
2015-03-30 00:00:00-0500 | 4500 | 1 
2015-03-31 00:00:00-0500 | 7500 | 4 

(2 rows)

Cassandra PRIMARY KEY是独特的。因此，如果您要从文件导入239595行，但实际上只有两个唯一日期，那么您将拥有2行。

是的，你是对的！感谢您分享您的体验！ :) – 2015-03-31 19:58:21

没问题@Marciszka，很高兴我能帮忙。 – Aaron 2015-03-31 19:59:23

答

这是一个错误不是解决cqlssh bug

您可以通过这样解决问题：拳头去你的根目录下，你会得到.cassandra文件夹进入这个文件夹，你会得到

cqlshrc

添加这两个线路

[csv] 
field_size_limit=1000000000

然后关闭你的file.restart cassandra你的问题将被解决。

为什么Cassanda不会加载CSV文件中的所有值？

相关推荐