APACHE KAFKA LÀ GÌ

  -  
1. Kafka là gì?2. Các có mang cần nạm lúc tìm hiểu về Kafka3. Một số Use Case Kafka tiêu biểu

1. Kafka là gì?

Nếu các bạn mới khám phá về Kafka bạn sẽ thấy các điều tương đối kỳ lạ, vì Confluent khái niệm đó là một nền tảng stream, các nội dung bài viết không giống cũng đi theo triết lý này; còn các nội dung bài viết dị kì nói về Kafka là một trong message broker.

Bạn đang xem: Apache kafka là gì

1.1. Apabịt Kafka là gì?

Apađậy Kafka là một khối hệ thống phân tán message – distributed messaging system, Kafka được trở nên tân tiến với gia hạn bởi Apabít, vì vậy Kafka (message broker) mang tên là Apabịt Kafka.

Giống giống như những cmùi hương trình/ ứng dụng message broker khác, nó được trở nên tân tiến theo quy mô public/subscribe. Bên public tài liệu được gọi là producer và mặt dấn tài liệu theo những topic sẽ được hotline là consumer.

*

1.2. Kafka stream là gì?

*

Kafka stream là một trong nền tảng gốc rễ streaming phân tán sự kiện – distributed event streaming platkhung. Được phát triển dựa trên nền tảng Apađậy Kafka distributed messaging system do Linkedin vào năm 2011, kế tiếp biến hóa dự án mã nguồn mngơi nghỉ của Apabít. Cho mang đến thời điểm này, nó được phân pân hận đồng ý cùng vừa đủ độc nhất vô nhị bởi Confluent thông qua Confluent Platsize.

Nền tảng Kafka stream được viết bởi ngôn từ Scala cùng Java nhằm mục đích mục đích cung cấp hình thức cách xử trí sự kiện dựa trên thời hạn thực với độ trễ rẻ cùng thông lượng cao. Vì nuốm, hệ thống được rộng 80% công ty trong top 100 của Fortune tin sử dụng.

1.3. Kafka được sử dụng để triển khai gì?

Kafka là một kho dữ liệu phân tán được buổi tối ưu hóa nhằm cách xử lý tài liệu theo thời gian thực. Nếu là một trong những nền tảng gốc rễ streaming trực đường đang rất cần phải cách xử trí tài liệu một phương pháp thường xuyên với tuần từ bỏ tăng dần. Sau phía trên sẽ là 3 tác dụng chủ yếu Kafka đang cung ứng cho người dùng:

Publish và subscribe các stream của record (luồng dữ liệu).Khả năng tàng trữ những stream of record một bí quyết hiệu theo sản phẩm từ bỏ các record được chế tạo ra.Khả năng cách xử trí stream of record theo thời gian thực

1.4. Vì sao yêu cầu áp dụng Kafka?

Vì đây là một dự án công trình mã mối cung cấp mở được gói gọn hoàn chỉnh, với hiệu năng giỏi, dễ dàng không ngừng mở rộng mà không cần phải tạm ngưng hệ thống cùng với sẽ là tài năng chịu đựng lỗi cao.

*

Nếu ai đang kiến tạo một trong những phần mềm, một trang web hiển thị thông tin cho tất cả những người sử dụng theo thời gian thực, Kafka chính là một chọn lọc về tối ưu. Quý khách hàng hoàn toàn có thể sử dụng Kafka để nhập với tàng trữ dữ liệu vào quy trình phạt trực tiếp; chúng ta cũng có thể áp dụng nlỗi một phần mềm message broker góp 2 ứng dụng/ nền tảng gốc rễ rất có thể tiếp xúc cùng nhau.

Những tiện ích khiến cho các bạn suy xét về câu hỏi thực hiện Kafka:

Khả năng msống rộng: quy mô phân vùng nhật ký của Kafka được cho phép tài liệu của chúng ta có thể phân păn năn trên những sever với góp bạn cũng có thể mở rộng máy chủ mở rộng khi không hề phù hợp.Nhanh: Với phương pháp xử trí bóc tách những luồng dữ liệu, vì thế độ trễ cực kỳ phải chăng tạo nên tốc độ trở đề nghị nkhô nóng rộng.Khả năng chịu đựng lỗi và độ bền: Các gói tài liệu của chúng ta có thể được sao chép với phân păn năn bên trên các hệ thống khác biệt. Vì cố gắng, Lúc bao gồm một sự cầm xảy ra, tài liệu của khách hàng không nhiều bị lỗi rộng với bền hơn.

1.5. Kafka hoạt động như vậy nào?

*

Hệ thống sử dụng phối kết hợp 2 mô hình đó là queuing với publish-subscribe nhằm mục tiêu hỗ trợ công dụng rất tốt cho người sử dụng.

Queuing chất nhận được tài liệu rất có thể được xử trí phân tán trên các consumer với tạo nên năng lực không ngừng mở rộng cao.Publish-subscribe đã tiếp cận đồng thời nhiều subscribe và những message sẽ tiến hành gửi mang lại nhiều subscribe, quan yếu thực hiện nhằm phân tán công việc mang lại nhiều worker.

2. Các tư tưởng bắt buộc cầm cố Khi tò mò về Kafka

2.1. Producer

Trước khi xử trí, nó sẽ triển khai phân nhiều loại cùng tàng trữ các message dựa vào topic của bọn chúng. Producer bao gồm nhiệm vụ publish message vào những topic phù hợp. Sau kia, khi dữ liệu được gửi mang đến partition của topic được tàng trữ tại Broker.Consumer

Các consumer sẽ tiến hành định danh theo từng group name, các consumer rất có thể thuộc phía bên trong một topic.

Xem thêm: Qtv Và Shin Chia Tay - Shin, Qtv Làm Bạn Với Đàn Và Hát Trên Stream

2.2. Partition

Partition là nơi tàng trữ tài liệu cho các topic, từng topic hoàn toàn có thể có một hoặc nhiều Partition khác nhau. Mỗi Partition sẽ tiến hành gán một ID cùng lưu trữ dữ liệu bao gồm định.

Trong 1 Kafka cluster, một Partition rất có thể được xào nấu thành những bạn dạng với có một bản thiết yếu leader Chịu trách nát nhiệm gọi ghi dữ liệu; những phiên bản còn lại đang có tên là follower. Khi bản bao gồm bị lỗi,sẽ có được một bạn dạng follower lên sửa chữa thành leader

2.3. Broker

Kafka cluster là 1 trong những đội những server cùng từng team VPS này sẽ tiến hành Gọi là broker.

*

2.4. Zookeeper

Zookeeper là 1 trong những chức năng nhằm để làm chủ và bố trí lại các broker.

3. Một số Use Case Kafka tiêu biểu

3.1. Sử dụng như một message broker

Quý khách hàng rất có thể thực hiện Kafka để thay thế cho những Message broker như ActiveMQ hoặc RabbitMQ.

3.2. Website Activity Tracking

Đây là một trong phương pháp truyền thống cuội nguồn nhằm sử dụng Kafka, bạn có thể áp dụng nhằm kiến tạo website với đăng cài đặt ngôn từ theo thời hạn thực. Tất cả các tài liệu như: lượt xem trang, vận động tìm kiếm kiếm với bất kể một chuyển động nào khác bên trên trang của khách hàng các sẽ tiến hành tạo nên thành những topic. Hoạt động theo dõi website này sẽ giúp bạn cũng có thể phân tích được hành vi người dùng bên trên trang với thú vị nhiều người phát âm rộng.

3.3. Đo lường

quý khách có thể áp dụng Kafka để chế tạo dữ liệu giám sát những hoạt động. Đồng nghĩa với vấn đề bạn đang tập vừa lòng số liệu những thống kê trường đoản cú các nguồn phân tán bên trên trang nhằm tạo ra một mối cung cấp tài liệu tổng hòa hợp.

3.4. Sử dụng nhằm sinh sản Log

Tổng hợp log hay nhật ký kết chuyển động, đây là phương pháp những người tiêu dùng Kafka nhằm mục tiêu để bắt tắt những cụ thể và cung cấp phiên bản ghi rõ ràng về tài liệu sự khiếu nại nhằm mục tiêu để cách xử lý trong tương lai.

3.5. Stream Processing

Đây là bí quyết thực hiện thông dụng tốt nhất sống thời điểm này của Kafka, là một khối hệ thống được phát triển nhằm ham mê hợp với vấn đề giải pháp xử lý dữ liệu vào thời gian thực. Mỗi Lúc tài liệu nhận thêm new vào topic vẫn tức thì mau chóng được ghi vào hệ thống và truyền mang lại đến mặt nhận dữ liệu. Với thư viện Kafka Streams được tích hợp tự phiên phiên bản 0.10.0.0 có công dụng xử lý stream nhẹ tuy nhiên cực kì trẻ trung và tràn đầy năng lượng.

Bên cạnh đó, bạn cũng có thể thực hiện những hình thức mã mối cung cấp msống không giống như: Apabít Storm và Apache Samza để cách xử trí.

Xem thêm: Thập Thánh Pháp Sư Fairy Tail Việt Nam, Thập Thánh Pháp Sư Fairy Tail

Tổng kết lại, bài viết vẫn khiến cho bạn hiểu được về Kafka là gì cũng giống như bạn đã và đang có thể thấy rằng Kafka rất đáng để nhằm sử dụng.

——————————————————————————————————————————–