Neobank Monzo xây dựng lưới dữ liệu được quản lý trên 100 nhóm và mô hình 12000 dbt

Trang chủ InfoQ Tin tức Neobank Monzo xây dựng lưới dữ liệu được quản lý trên 100 nhóm và mô hình 12000 dbt AI, ML & Kỹ thuật dữ liệu Neobank Monzo xây dựng lưới dữ liệu được quản lý trên 100 nhóm và mô hình 12000 dbt Ngày 17 tháng 5 năm 2026 3 đọc tối thiểu bởi Renato Losio Viết cho InfoQ Nuôi dưỡng sự tò mò của bạn. Trợ giúp 550k+ toàn cầu nhà phát triển cao cấp mỗi tháng luôn ở phía trước. Hãy liên lạc Hãy nghe bài viết này - 0:00 Âm thanh sẵn sàng để phát Trình duyệt của bạn không hỗ trợ phần tử âm thanh. 0:00 0:00 Bình thường1,25x1,5x thích Danh sách đọc Monzo gần đây đã thiết kế lại kho dữ liệu của mình để hỗ trợ hơn 100 nhóm làm việc trên hơn 12000 dbt mô hình. Giới thiệu cách tiếp cận được gọi là "lưới", Monzo cắt giảm khoảng 40% chi phí kho hàng và cải thiện tốc độ phân phối dữ liệu lên 25%. Vào năm ngoái, Monzo, một ngân hàng kỹ thuật số có trụ sở tại Vương quốc Anh, đã xây dựng lại nền tảng dữ liệu của mình xung quanh các lớp mô hình hóa đã xác định, các mô hình giao diện được khai báo rõ ràng cho các phần phụ thuộc dữ liệu giữa các nhóm và xác thực cấu trúc, cách đặt tên và mẫu truy cập do CI thực thi. Quá trình di chuyển bao gồm hàng nghìn mô hình dbt và giới thiệu hàng trăm giao diện được quản lý, giảm các truy vấn và tính toán lại dư thừa, cải thiện thời gian cập nhật dữ liệu và đảo ngược sự tăng trưởng chi phí kho bãi. Trong khi mỗi nhóm sở hữu và duy trì các mô hình dữ liệu của riêng mình, Monzo hỗ trợ quyền sở hữu phân tán thông qua các rào chắn tự động và công cụ dùng chung. Antonia Badarau, Irina Mugford và Massimo Frangiamore, kỹ sư phân tích tại Monzo, giải thích thách thức: Tại Monzo, hơn 100 nhóm độc lập, được trao quyền đóng góp vào kho dữ liệu gồm hơn 12.000 mô hình dbt của chúng tôi. Tình trạng của dữ liệu thuộc quyền sở hữu của tất cả các nhóm này. Kiểu sở hữu phân tán đó rất mạnh mẽ nhưng cũng khó có được quyền sở hữu ở quy mô lớn. Ngoài ra, khi mã hóa được hỗ trợ bởi AI trở thành tiêu chuẩn và mọi người đều có thể đóng góp vào các dự án dbt sản xuất, câu hỏi đặt ra là: làm cách nào để đảm bảo đầu ra vẫn hoạt động hiệu quả, nhất quán và chất lượng cao? mô hình dbt là các truy vấn SQL chuyển đổi dữ liệu thô thành bộ dữ liệu có cấu trúc, được thiết kế dưới dạng các thành phần mô-đun, có thể tái sử dụng để xây dựng và duy trì đường dẫn dữ liệu. Monzo đã xác định ba nguyên tắc cho kiến ​​trúc dữ liệu của mình: thực thi các tiêu chuẩn rõ ràng, chính thức hóa việc chia sẻ dữ liệu thông qua các giao diện rõ ràng và dựa vào kiểm tra tự động hóa và CI để đảm bảo chất lượng so với việc xem xét thủ công. Ngân hàng cấu trúc các mô hình dữ liệu của mình thành bốn lớp: mô hình đích tự động làm phẳng các sự kiện thô, tạo ra các mô hình chuẩn hóa đại diện cho các thực thể có lịch sử đầy đủ, mô hình logic trong đó logic nghiệp vụ kết hợp các thực thể và mô hình trình bày được điều chỉnh cho các mục đích sử dụng cụ thể ở hạ nguồn. Nguồn: blog Monzo Sau đó, nhóm thực thi tính nhất quán thông qua cái gọi là Modelgen, một công cụ dòng lệnh tạo ra các mô hình SQL và YAML từ định nghĩa đối tượng và thông qua các tiêu chuẩn dữ liệu được CI hỗ trợ để xác thực cấu trúc, quy ước và các phương pháp hay nhất. Luke Briscoe, Giám đốc Kỹ thuật tại Ngân hàng Monzo, viết: Việc mở rộng quy mô dữ liệu trong bất kỳ tổ chức đang phát triển nhanh nào đều không hề dễ dàng, đừng bận tâm đến ngân hàng (...) Tôi không biết có nhiều công ty vận hành công cụ như thế này (hoặc ít nhất là công khai nói về nó!) Mateusz Ulas, người sáng lập Expeditious Software, nhận xét: Việc coi các giao diện dữ liệu là mã hạng nhất vẫn còn hiếm một cách kỳ lạ. Hầu hết những nơi tôi thấy đều dựa vào tài liệu và hy vọng điều tốt nhất. Kết nối các tiêu chuẩn vào CI là điều thực sự mang lại sự cải tiến. Theo nhóm, các lớp dữ liệu rõ ràng, giao diện ổn định giữa các bộ dữ liệu và kiểm tra tự động trong CI giúp hệ thống luôn nhất quán, cho phép các nhóm làm việc độc lập đồng thời giảm chi phí kho bãi và thời gian xử lý. Monzo thực thi chất lượng và tính nhất quán của dữ liệu bằng cách yêu cầu mỗi mô hình xác định một khóa duy nhất, bao gồm kiểm tra độ mới, chạy tăng dần theo mặc định, khai báo nhóm sở hữu, cung cấp tài liệu và tuân theo các quy ước đặt tên và siêu dữ liệu nghiêm ngặt đã được xác thực trong CI. Nguồn: blog Monzo Badarau, Mugford và Frangiamore thêm: Chúng tôi hiện đang đạt khoảng 30% trong quá trình chuyển đổi toàn công ty sang sử dụng các phương pháp và hệ thống này, với một chặng đường dài phía trước. Kết quả ban đầu rất đáng khích lệ. Chúng tôi đã thấy chi phí giảm ~40% và thời gian truy cập nhanh hơn ~25% ở một số miền - nhưng vẫn chỉ là những ngày đầu. Trong một bài viết riêng, nhóm kỹ thuật tại Monzo mô tả cách sử dụng mạng thần kinh đa tác vụ để tìm hiểu các biểu diễn chung của các mô hình gian lận, từ đó cải thiện khả năng phát hiện các hành vi hiếm gặp và chưa từng thấy trước đây ngoài những gì các mô hình truyền thống có thể phát hiện. Tại QCon London năm nay, Suhail Patel đã chỉ ra cách Monzo đã xây dựng một nền tảng dành cho nhà phát triển có khả năng thực hiện hàng trăm thay đổi vào sản xuất mỗi ngày. Về tác giả Renato Losio Hiển thị thêmHiển thị ít hơn Đánh giá bài viết này Nhận con nuôi phong cách Tác giả đã liên hệ Nội dung này nằm trong chủ đề AI, ML & Data Engineering Chủ đề liên quan: Kiến trúc & Thiết kế AI, ML & Kỹ thuật dữ liệu Lưới dữ liệu Phân tích dữ liệu Giao hàng liên tục Tích hợp liên tục Kho dữ liệu Kho dữ liệu Mô hình dữ liệu Bài xã luận liên quan Nhà tài trợ liên quan