Kinesisとは？データ転送AWSソリューションです。

Kinesisは簡単にいうと、AWSサービス同士でデータ転送するときに使うAWSソリューションです。

例えば、CloudWatchからS3へ、EC2(Win上のログなど）からS3へデータをリアルタイムでデータ転送できたりします。

【AWS】Kinesisとは？

Amazon Kinesis はデータ分析前のストリームデータの処理段階で利用されるサービスです。

利用用途は？

IoTのデータストリーミング処理を実施して、データを収集するために利用されます。

メリットは？

Amazon Kinesis によって、ストリーミングデータをリアルタイムで収集、処理、分析することが簡単することが可能です。

そのため、インサイトを適時に取得して新しい情報に迅速に対応できます。

Amazon Kinesis Data Analyticとは

Amazon Kinesis Data Analyticsはストリーミングデータの分析、実用的なインサイトの取得、ビジネスやお客様のニーズへのリアルタイムな対応を最も簡単に行えるサービスです。

Amazon Kinesis Data Streamとは

Amazon Kinesis Data Streamを利用することでストリーミングデータをリアルタイムで収集、処理、分析するアプリケーションを実装できます。

ユースケース

メッセージ応答機能をAWSで実装しています。 サービスは1日に最大数千のメッセージを受信可能とし、これらのデータはすべて、Amazon EMRに送信されて処理されます。 メッセージが失われず、重複されず、メッセージが到着と同じ順序でEMRで処理されることが要件となっています。

この要件を満たすため方法

1. Amazon Kinesis Data Streamによりメッセージを収集する

満たすべき要件は、データが欠落しないこと、耐久性があること、およびデータを到着順にストリーミングすることです。Kinesisがこうした要件に基づいたデータ転送を可能にします。 Kinesis Data Streamsは一連のデータレコードを持つシャードのセットであり、各データレコードにはKinesis Data Streamsによって割り当てられたシーケンス番号があるため、 メッセージが失われず、重複されず、到着と同じ順序で伝送することが可能です。

SQSのデフォルトキューは単なる標準キューであり、FIFO（先入れ先出し）キューではないため順番が保証されません。 さらに、SQSは重複送信されないことを保証しません。

SNSは一度に送受信されるこのような大量のメッセージを処理できない場合があります。 また、データが受信された順序で送信されることを保証するものでもありません。

AWS Date Pipelineは主にクラウドベースのデータワークフローサービスとして使用され、異なるAWSサービスとオンプレミスデータソース間でデータを処理および移動するのに利用する

Kinesisを用いたネットワーク構成図

• EC2->S3
• EC2->CloudWatch->S3
• EC2->DataDog
• EC2->Splunk

関連記事