将大型JSON文件拆分为多个文件
问题描述：
我有一个基于大约1000页（分页）数据的大型JSON文件。我想将约100个JSON文件拆分为单独的文件，并根据页面将它们分开。将大型JSON文件分成多个文件的最佳方式是什么？谢谢！将大型JSON文件拆分为多个文件
答
，如果你的JSON格式如下：
[
{page: 1},
...
]
然后你就可以使用控制台编辑器像csplit工具的sed awk的/。
这样的事：
cat 1.json
[email protected]:~$ cat 1.json
[
{page: 1},
{page: 2},
{page: 3},
{page: 4},
{page: 5},
{page: 6},
{page: 7},
{page: 8},
{page: 9},
{page:10},
{page:11},
{page:12},
{page:13},
{page:14},
{page:15},
{page:16},
{page:17},
{page:18},
]
[email protected]:~$ rm xx* ; SIZE=$((10+1)) ; cat 1.json | awk "ORS=NR%$SIZE?RS:\"\n], \n[\n\"" | csplit - $(($SIZE+2))
126
100
[email protected]:~$ cat xx00
[
{page: 1},
{page: 2},
{page: 3},
{page: 4},
{page: 5},
{page: 6},
{page: 7},
{page: 8},
{page: 9},
{page:10},
],
这是什么JSON格式？它是否被美化？此任务的最佳格式是第一行和最后一行是打开/关闭数组，并且每页数据一行... – 2014-11-24 04:56:28
将大文件存储在浏览器中有点困难。为此，在后台设置基于页面获取json数据。 – chandu 2014-11-24 04:56:49
@vp_arth：是的，它是美化的。 – shmuli 2014-11-24 04:58:21