Google云端pub/sub到Datastax Cassandra(在谷歌云中)
问题描述:
我在Google云端部署了一个9节点的Datastax群集。Google云端pub/sub到Datastax Cassandra(在谷歌云中)
现在我已经被要求从QUEUE中读取数据并加载到Google云上的Datastax(Continues Streaming)中。
我知道pub/sub可以从QUEUE中读取数据,但不知道它是否可以直接加载到Datastax中。
pub/sub是否可以将数据加载到Google云上的Datastax中?
我是pub/sub新手,所以不确定从哪里开始或如何开始。
感谢,
答
没有从谷歌Cloud发布/订阅的数据加载到Datastax自动方式。您将不得不创建一个订阅,并写入从该订阅获取消息的订阅者代码,然后将其写入Datastax。 可能是开始采取必要步骤的好地方。
答
一种方法是从Pub/Sub读取数据流管道(以流模式运行)并写入Cassandra。 Dataflow中没有内置Cassandra接收器(尽管one is in the works作为Apache Beam的一部分),但它可能足以让您的用例在Dataflow ParDo中写入Cassandra。
可能的重复[使用pub/sub读取邮件并将其加载到Google Cloud上的Datastax](https://stackoverflow.com/questions/40633741/read-the-messages-using-pub-sub-and-负载它 - 进入 - datastax-上谷歌云) –