Tìm hiểu về Diffbot: Nền tảng trích xuất và phân tích dữ liệu web dựa trên AI

Diffbot là nhà phát triển thuật toán Machine Learning và Thị giác máy tính cũng như các API công khai để trích xuất dữ liệu từ các trang web (web scraping) nhằm tạo cơ sở kiến thức.

Diffbot là gì?

Diffbot là một nền tảng trích xuất và phân tích dữ liệu web dựa trên Trí tuệ nhân tạo (AI), giúp chuyển đổi nội dung web phi cấu trúc thành dữ liệu có cấu trúc và có thể sử dụng được. Sử dụng Machine Learning và thị giác máy tính, Diffbot tự động hóa việc trích xuất thông tin từ nhiều trang web khác nhau, cho phép các doanh nghiệp truy cập và phân tích dữ liệu mà không cần phải thu thập thủ công. Hệ thống Knowledge Graph toàn diện của nó tổng hợp dữ liệu về các thực thể như tổ chức, sản phẩm và bài viết, hỗ trợ việc ra quyết định sáng suốt trong nhiều ngành nghề.

Tổng quan về Diffbot

Công ty đã thu hút được sự quan tâm từ việc áp dụng công nghệ thị giác máy tính vào các trang web, trong đó nó phân tích trực quan một trang web để tìm các thành phần quan trọng và trả về chúng ở định dạng có cấu trúc.

Vào năm 2015, Diffbot đã thông báo rằng họ đang nghiên cứu phiên bản "Knowledge Graph" tự động bằng cách thu thập thông tin trên web và sử dụng tính năng trích xuất trang web tự động để xây dựng cơ sở dữ liệu lớn về dữ liệu web có cấu trúc.

Vào năm 2019, Diffbot đã phát hành Knowledge Graph của họ, kể từ đó đã phát triển để bao gồm hơn hai tỷ thực thể (tập đoàn, con người, bài viết, sản phẩm, cuộc thảo luận, v.v...) và 10 nghìn tỷ "sự kiện".

Những tính năng của Diffbot

Những sản phẩm của công ty cho phép các nhà phát triển phần mềm phân tích những trang chủ và trang bài viết, và trích xuất "thông tin quan trọng" trong khi bỏ qua các yếu tố được coi là không cốt lõi đối với nội dung chính.

Vào tháng 8 năm 2012, công ty đã phát hành Page Classifier API, tự động phân loại các trang web thành những "loại trang" cụ thể. Là một phần của việc này, Diffbot đã phân tích 750.000 trang web được chia sẻ trên dịch vụ mạng xã hội Twitter và tiết lộ rằng ảnh, theo sau là các bài báo và video, là nội dung media web chiếm ưu thế được chia sẻ trên mạng xã hội.

Vào tháng 9 năm 2020, công ty đã phát hành API xử lý ngôn ngữ tự nhiên để tự động xây dựng Knowledge Graph từ văn bản. Công ty đã huy động được 2 triệu USD tài trợ vào tháng 5 năm 2012 từ các nhà đầu tư bao gồm Andy Bechtolsheim và Sky Dayton.

Khách hàng của Diffbot bao gồm Adobe, AOL, Cisco, DuckDuckGo, eBay, Instapaper, Microsoft, Onswipe và Springpad.

Các tính năng chính:

• Trích xuất dữ liệu tự động: Trích xuất dữ liệu có cấu trúc từ bất kỳ trang web nào bằng trí tuệ nhân tạo, thị giác máy tính và Machine Learning.
• Knowledge Graph: Cung cấp cơ sở dữ liệu khổng lồ về các thực thể được kết nối với nhau, bao gồm hơn 246 triệu tổ chức và 1,6 tỷ bài viết.
• Crawlbot: Cho phép thu thập dữ liệu trên toàn bộ trang web từ nhiều trang hoặc toàn bộ trang web.
• Xử lý ngôn ngữ tự nhiên: Phân tích văn bản để suy ra các thực thể, mối quan hệ và cảm xúc.
• Truy cập API: Cung cấp API để tích hợp liền mạch với các hệ thống và quy trình làm việc hiện có.

Giá cả của Diffbot

• Gói miễn phí: 0$/tháng, bao gồm 10.000 credit, 5 cuộc gọi mỗi phút và quyền truy cập bảng điều khiển.
• Gói Startup: 299$/tháng, cung cấp 250.000 credit, 5 cuộc gọi mỗi giây và quyền truy cập API.
• Gói Plus: 899$/tháng, bao gồm 1.000.000 credit, 25 cuộc gọi mỗi giây và các tính năng bổ sung như Crawl.
• Gói Enterprise: Giá tùy chỉnh với các tính năng và hỗ trợ được thiết kế riêng.

Ưu và nhược điểm của Diffbot

Bản demo