Download to read offline
![Source[(TopicPartition, Source[CommittableMessage[Array[Byte], String], NotUsed]), Control]
It’s streaming streams
パーティションごとにバックプレッシャーをかける](https://image.slidesharecdn.com/akka-stream-kafka-kc-170808082527/75/Reactive-Kafka-with-Akka-Streams-44-2048.jpg)
Uploaded byscalaconfjp
Reactive Kafka with Akka Streams
http://2017.scalamatsuri.org/
More Related Content
Similar to Reactive Kafka with Akka Streams
Reactive Kafka with Akka Streams
- 1. Reactive Kafka with AkkaStreams Krzysztof Ciesielski
- 2. about.me • Scala developer@ • Editor of ScalaTimes • Open Source (akka-stream-kafka, scala-clippy and other) Premier Consulting Partner
- 3. akka-stream-kafka • Formely reactive-kafka •A library for accessing Kafka as stages of Akka Streams akka-stream-kafka は Akka Streams のストレージとして Kafka にアクセスするラ イブラリ
- 4. Apache Kafka a messagelog 8 7 6 5 4 3 2 1 Producer Producer Consumer Consumer topic “topic1”
- 5. Apache Kafka a distributedmessage log 4 3 2 1 Producer 4 3 2 1 partition 1 partition 2 “topic1” “topic1” 分散メッセージログ
- 6. Apache Kafka a distributedmessage log Consumer balancing 4 3 2 1 Producer 4 3 2 1 partition 1 partition 2 “topic1” “topic1” 分散メッセージログ
- 7. Apache Kafka a distributedmessage log Consumer1 Consumer2 4 3 2 1 Producer 4 3 2 1 partition 1 partition 2 “topic1” “topic1” 分散メッセージログ
- 8. Apache Kafka a distributedmessage log 4 3 2 1 4 3 2 1 partition 1 partition 3 “topic1” “topic1” Consumer1 Consumer2 4 3 2 1 partition 2“topic1” manual assignment 分散メッセージログ
- 9. Apache Kafka Uses Zookeeper Leaderelection Cluster coordination Shared configuration リーダー選出、クラスタ協調、共有された設定に Zookeeper を使う
- 10. Apache Kafka Decoupling ofproducers and consumers プロデューサとコンシューマの分離
- 11. Apache Kafka Commit 8 76 5 4 3 2 1 Consumer commit(p1, o3) msg1, msg2
- 12. 8 7 65 4 3 2 1 Consumer Apache Kafka Commit
- 13. Apache Kafka Commit 8 76 5 4 3 2 1 New consumer msg3
- 14. Akka Streams • DSLfor describing data transformation pipelines. • Uses Actor Model. • Implements the Reactive Streams specification. アクターモデルを使用した、データ変換パイプラインを記述するためのDSL。 Reactive Streams仕様を実装。
- 15. Akka Streams • Focusedon backpressure and async processing. • Comes with a powerful test kit. • Extensible. バックプレッシャーと非同期処理にフォーカス。強力な非同期コード用のテストツー ル。拡張可能。
- 17. Alpakka Initiative to builda rich set of connectors HTTP Streaming TCP Streaming File IO Reactive Streams (MongoDB Reactive Streams Java Driver) 豊富なコネクタを構築する取組み
- 18. Akka Streams +Kafka
- 19. Akka Streams +Kafka
- 20. Akka Streams +Kafka
- 21. Akka Streams +Kafka
- 22. akka-stream-kafka • Started asreactive-kafka @ SoftwareMill • First users • Alexey Romanchuk has rebuilt the library • Akka Team joined (Patrik Nordwall, Endre Varga) reactive-kafka として SoftwareMill で開発を始める。Alexey Romanchuk が再構 築し、その後 Akka Team が参加。
- 23. Example: plain consumer plainconsumer (素のコンシューマ) の例
- 24. Example: plain consumer plainconsumer (素のコンシューマ) の例
- 25. Example: plain consumer +asyncprocessing +error handling +backpressure plain consumer (素のコンシューマ) の例
- 26. Consumer Actor SourceStage ConsumerActor consumer (Kafka API) RequestMessages demandmessages Messages Scheduled Poll poll() dispatcher
- 27. Plain consumer performance 1,202,081 944,746 plainconsumer は直接 Java API を叩くぐらいの性能が出ている
- 28. Apache Kafka Commit 8 76 5 4 3 2 1 Consumer commit(p1, o3) msg1, msg2 次に commit の性能を比較する
- 29. Consumer Actor and commit SourceStage ConsumerActor consumer (KafkaAPI) ? Commit commit() Scheduled Poll poll() dispatcher msg msg commitAsync() callback Request Messages
- 30.
- 31.
- 32.
- 33. Batched Committable Source groupedWithin でメッセージを100 個ごと、もしくは 5 秒経過するごとにグループ としてまとめる
- 34.
- 35. External commit source オフセットを独自に保存することでexactly-once セマンティックを実現する
- 36.
- 37.
- 38. Producer as aFlow Flow としてのプロデューサ
- 39. Producer as aFlow Flow としてのプロデューサ
- 40. From Kafka toKafka Kafka からのログを Kafka へ流す
- 41. From Kafka toKafka SourceStage Producer Stage msg send() callback() msg msg mapAsync Consumer Actor Kafka からのログを Kafka へ流す
- 42. From Kafka toKafka Kafka からのログを Kafka へ流す
- 43. It’s streaming streams backpressureper partition パーティションごとにバックプレッシャーをかける
- 44. Source[(TopicPartition, Source[CommittableMessage[Array[Byte], String],NotUsed]), Control] It’s streaming streams パーティションごとにバックプレッシャーをかける
- 45. Error handling run() からFuture を取得してエラー処理を行う
- 46.
- 47. Kafka Streams Apache Kafka製の Kafka Stream という別物のライブラリもある
- 48. Kafka Streams akka-stream-kafka Kafka Streams Scala+ Java, backpressure, async processing, interop with Akka Streams Java, stateful processors, windowing, joining, aggregation operations Apache Kafka 製の Kafka Stream という別物のライブラリもある
- 49.