的MongoDB:错误,同时使用mongoimport

问题描述:

我试图插入插入文档巨大(〜831M)文件到蒙戈集合使用mongoimport的MongoDB:错误,同时使用mongoimport

/Library/mongodb/bin/mongoimport --port 12345 -d staging -c collection < out.all.1 

,看到喜欢

exception:Failure parsing JSON string near: , 'Custome 

,并存在一定的误区我发现一些奇怪的字符的例子

'CustomerCity': u'Wall \xa0' 
'CustomerCity': u'La Ca\xc3\xb1ada Flintridge' 
'CustomerCity': u'La Ca\xf1ada Flintridge' 

如何解决这些问题?

谢谢

+0

有几个问题:你用什么版本的mongo来导入?什么版本捕获数据?什么驱动程序(类型和版本)?任何框架,例如猫鼬,mongoid? – jpredham

+0

什么是文件结构? – hellectronic

+0

我使用mongodb shell,版本1.8.1,通过python程序计算数据并使用mongoimport插入,文件结构是基于JSON的文档 – daydreamer

我达成了类似的问题,即mongoimport了在平面文件我问它导入有关非UTF8字符错误。这google groups thread促使我尝试把我的源数据文件通过的iconv UNIX命令行以“正确的”非UTF-8字符上,即:

iconv -f ISO-8859-1 -t UTF-8 inputfile.txt > outputfile.txt 

上解决了这个问题对我来说。我想知道这种方法可以帮助你吗?虽然你看到的错误是不同的,但它是搞乱JSON解析的奇怪字符,不是吗?

但是,如果您自己生成这些奇怪字符,那么这些奇怪字符如何在输出数据中结束。也许你可以过滤生成输出的代码?