Data ingestion with lakeflow connect

- 14 mins

I want to show you my learning path in Databricks when i’m moving to work as Data engineer

In this part, I want to share about data ingestion with lakeflow connect in Databricks, include:

trước khi đọc bài này nên có kiến thức về:

data engineering in databricks

bắt đầu với table format/data format mà databricks sử dụng để optimize storage layer phía trên storage layer, databricks lakeflow xây dựng data governance layer dựa trên unity catalog

phân biệt rõ vai trò:

databricks xây dựng lakeflow, hỗ trợ xử lý end-to-end cho data. là một platform thống nhất hỗ trợ ingestion, transformation, orchestration. Lakeflow bao gồm các thành phần:

bắt đầu với lakeflơ connect, data ingestion được sắp xếp (streamlined) đơn giản, hiệu quả thông qua các connectors cho phép ingest data từ file, cloud storage, database, enterprise application, streaming source trực tiếp vào lakehouse

trước đây với mỗi source phải sử dụng (resort) một solution chắp vá (patchwork) để ingest data. với lakeflơ, các data pipeline ingest data được thống nhất bên trong databricks, hỗ trợ đầy đủ setup, maintain, điều phối, quan sát và governace data.

ưu điểm các connectors cung cấp sẵn mà lakeflơ hướng đến:

lakeflơ connect phân loại lakeflơ cung cấp các connector để ingest data vào lakehouse từ các nguồn khác nhau như enterprise application, database, cloud storage, local file, message buses,… gồm 3 loại chính:

đi sâu hơn more detail về ingestion method:

# python method
spark.read.load()
# python method: auto loader with a timed trigger
spark.readStream()
--- declarative pipeline
create or refresh streaming table

delta lake review

mục tiêu của delta lake là ingest file từ external source như cloud object storage vào delta lake (các bảng delta table). delta table là một open table format hỗ trợ lakehouse architecture

Bên trong delta lake, bao gồm các delta table. cơ bản, các delta table lưu data bên trong một thư mục, data được lưu thành các file parquet, khi data thay đổi chúng được add vào delta log (transaction log kèm theo metadata) dưới dạng các file json. log này giúp lưu trữ transaction trong data và table version. transaction log cung cấp các thông tin về delta table. Khi insert, delete hoặc update data vào bảng, delta chỉ cần add transaction (log file), bảng sẽ được update và managed. tôi cho là bạn có thể từng quen thuộc với các khái niệm như write ahead log. chúng ta sẽ tìm hiểu sau cách delta lake xử lý các thao tác này đạt hiệu năng cao như thế nào

delta lake có một số tính năng chính:

medallion architecture (multu hop)

Khi ingest data vào delta lake theo batch hay streaming hay cả hai, data liên tục tăng và cải thiện tiến bộ hơn (progressively) khi đi qua các layer trong kiến trúc: bronze, silver, gold.

data ingestion from cloud storage

hãy đi sâu hơn vào cách convert file raw vào delta tables trong databricks. data ingestion luôn là một bước quan trọng trong kiến trúc lakehouse, cho phép tận dụng khả năng lưu trữ lớn trên cloud storage, hỗ trợ nhiều loại format như csv, json, parquet, đảm bảo và hỗ trợ các tính năng như acid, time travel, schema enforement. 3 method chính để ingest file từ cloud storage vào delta table thông qua standard connectors

create table as (ctas)

tạo bảng delta table trỏ đến file ở cloud object storage, hàm read_files() đọc file theo location được config và xử lý về dạng bảng

create table new_table as
select *
from read_files(
    path_to_file, 
    format='',
    <other format specific>
)

copy into

method này tạo một bảng mới sau đó copy data vào (incremental). data được copy từ cloud storage vào delta table. cách này thực hiện bulk load từ các file ở source vào bảng delta theo path location được config.

create table new_table;

copy into new_table
from dir_path
fileformat=<file_type>
format_options()
copy_options()

cách copy into phù hợp khi cloud storage liên tục có file mới được add, incremental batch

auto loader

hãy delve into vào method thứ 3, auto loader dùng để ingest dữ liệu incremental khi có file mới (batch hoặc streaming) khi file được update vào storage. hỗ trợ cả python hoặc sql (thông qua declarative pipeline) với khả năng xử lý file lớn. auto loader được build dựa vào spark structured streaming. để đi sâu vào hơn, tao và chúng mày sẽ cần tìm hiểu về stream processing trong spark và build data pipeline trong databricks.

một vài điểm chú ý với auto loader:

python auto loader

spark.readStream
    .format(cloud files)
    .options(cloud file format, json)
    .option(cloud file schema location, checkpoint path)
    .load(volumne/catalog/schema/files)
writeStream
    .option(checkpoint location, checkpoint path)
    .trigger(processingTime=5s)
    .toTable(catalog.database.table)

data được ghi vào volume quản lí bởi unity catalog và ghi vào location được config catalog.

auto loader by declarative pipelines

create or refresh streaming table catalog.schema.table 
schedule every 1 hour
as
select *
from stream read_files(
    path, 
    format
)

databricks recommend sử dụng streaming table để ingest data thay cho copy into. streaming table được quản lí bởi unity catalog hỗ trợ cả streaming và incremental. Khi tạo bảng streaming, pipeline tự động được tạo cho bảng này, streaming table được sử dụng để load data incremental từ kafka hoặc cloud storage

để tạo streaming table từ file trong volume, sử dụng auto loader, databricks recommend sử dụng cho hầu hết các trường hợp. bên dưới streaming tables tạo qua sql sử dụng serverless compute (xem thêm aws/dlt trong databricks)

khả năng xử lý của auto loader lớn hơn so với copy into (hàng triệu file + backfill so với hàng nghìn file). trong khi create table + spark read phù hợp với data nhỏ, đơn giản xử lý

notes: managed và external tables in databricks

Metadata columns

khi ingest data từ cloud storage, metadata columns khi source file name, modification time được append vào các _metadata column để lưu context cho mỗi row trong table được tạo trong lakehouse phục vụ cho các mục đích audit, lineage, debug

ví dụ khi ingest data từ các file như csv, txt, json vào data lake, một số cột metadata được thêm kèm với mỗi row để lưu các thông tin:

các cột metadata sẽ bị ẩn đi khi query thông thường. để hiển thị thông tin metadata column, cần bổ sung thêm property trong query khi select, một số tên cột metadata trong databricks:

Refer: https://docs.databricks.com/aws/en/ingestion/file-metadata-column

Rescued data column

khi ingest data, databricks hỗ trợ lưu thông tin data bị lỗi do mismatched hoặc unparseable field trong table thay vì drop đi.

trong quá trình ingest data, khi input data không match với schema của table, các hàm như read_files(), spark.read hoặc auto loader hỗ trợ rescue data, đảm bảo các cột không match về dữ liệu được lưu lại.

ví dụ: cloud storage location chứa các file data, trong đó có cột user và cost. khi ingest cột cost dạng bigint nhưng giá trị chứa exception, như “100$” dạng string. giá trị này sẽ không được ingest vào cột cost mà được lưu lại vào cột _rescued_data dưới dạng json để capture lại thông tin không khớp. cột cost sẽ để trống do đó không ảnh hưởng khi pipeline tiếp tục xử lý.

ingesting semi-structured data

ingest data dạng semi structured như json giúp xử lý parsing và transformation phức tạp hiệu quả hơn, ngoài ra còn hỗ trợ các phân tích nâng cao

có nhiều cách truy cập giá trị các field bên trong một json string

comments powered by Disqus
rss facebook twitter github gitlab youtube mail spotify lastfm instagram linkedin google google-plus pinterest medium vimeo stackoverflow reddit quora quora