如何查询来自couchdb的文档并将它们加载到熊猫数据框中？

Question

我已经在本地的couchdb服务器上下载了Twitter数据。 它被保存为json文件。

我使用此代码在python中输入数据库。 第一次导入库

import couchdb 
import pandas as pd 
from couchdbkit import Server 
import json 
import cloudant 

下次连接到服务器，然后选择我要进入数据库。

dbname = couchdb.Server('http://localhost:5984') 
db = dbname['Test'] 
server = couchdb.Server('http://localhost:5984') 

我可以使用python创建和删除数据库，但是我不知道如何将数据从服务器放到jupyter笔记本上。 我想通过转发文本和时间来分析它。 我只能看到一个来自python的JSON文件。

如果可能的话，我想在数据库中添加所有JSON数据到python中的pandas数据框，这样我就可以在R中分析它。

问题是：如何查询文档并将它们加载到熊猫数据框中？

Answer 1

来自CouchDB数据库的所有文档都可以从/{db}/_all_docs端点以include_docs查询属性提取。响应是一个json对象，其中列出了rows字段中的所有文档。

您可以使用requests包直接与CouchDB的工作，然后用pandas.read_json加载响应为熊猫或使用couchdb包转换JSON为Python对象的内部，然后直接装入反应，即做这样的事情：

import couchdb 
import pandas as pd 

couch = couchdb.Server('http://localhost:5984') 
db = couch['Test'] 
rows = db.view('_all_docs', include_docs=True) 
data = [row['doc'] for row in rows] 
df = pd.DataFrame(data) 

请注意比读一个完整的数据库到内存中可能是资源征税，所以你可能要考虑_all_docs终点的skip和limit查询参数读取较小的批次信息。