Giới thiệu nhẹ nhàng về Mạng nơ-ron đồ thị

Giới thiệu nhẹ nhàng về Mạng nơ-ron đồ thị Chưng cất Giới thiệu giải thưởng Gửi Giới thiệu nhẹ nhàng về Mạng nơ-ron đồ thị Giới thiệu nhẹ nhàng về Mạng nơ-ron đồ thị Mạng lưới thần kinh đã được điều chỉnh để tận dụng cấu trúc và tính chất của đồ thị. Chúng tôi khám phá các thành phần cần thiết để xây dựng mạng lưới thần kinh đồ thị - và thúc đẩy các lựa chọn thiết kế đằng sau chúng. Di chuột qua một nút trong sơ đồ bên dưới để xem cách nút đó tích lũy thông tin từ các nút xung quanh nó thông qua các lớp của mạng. tác giả Liên kết Benjamin Sanchez-Lenglinging Nghiên cứu của Google Emily Reif Nghiên cứu của Google Adam Pearce Nghiên cứu của Google Alexander B. Wiltschko Nghiên cứu của Google Đã xuất bản Ngày 2 tháng 9 năm 2021 DOI 10.23915/chưng cất.00033 Bài viết này là một trong hai ấn phẩm của Distill về mạng lưới thần kinh đồ thị. Hãy xem Tìm hiểu về tích chập trên đồ thị để hiểu cách khái quát hóa tích chập trên hình ảnh thành tích chập trên biểu đồ một cách tự nhiên. Đồ thị ở xung quanh chúng ta; các đối tượng trong thế giới thực thường được xác định theo mối liên hệ của chúng với những thứ khác. Một tập hợp các đối tượng và các kết nối giữa chúng được biểu diễn một cách tự nhiên dưới dạng biểu đồ. Các nhà nghiên cứu đã phát triển mạng lưới thần kinh hoạt động trên dữ liệu đồ thị (được gọi là mạng lưới thần kinh đồ thị hoặc GNN) trong hơn một thập kỷ. Những phát triển gần đây đã nâng cao khả năng và sức mạnh biểu đạt của họ. Chúng tôi đang bắt đầu thấy các ứng dụng thực tế trong các lĩnh vực như khám phá kháng khuẩn, mô phỏng vật lý, phát hiện tin tức giả, hệ thống khuyến nghị và dự đoán giao thông. Bài viết này khám phá và giải thích các mạng lưới thần kinh đồ thị hiện đại. Chúng tôi chia công việc này thành bốn phần. Đầu tiên, chúng ta xem xét loại dữ liệu nào được diễn đạt tự nhiên nhất dưới dạng biểu đồ và một số ví dụ phổ biến. Thứ hai, chúng tôi khám phá điều gì làm cho biểu đồ khác với các loại dữ liệu khác và một số lựa chọn chuyên biệt mà chúng tôi phải thực hiện khi sử dụng biểu đồ. Thứ ba, chúng tôi xây dựng một GNN hiện đại, đi sâu vào từng phần của mô hình, bắt đầu với những đổi mới mang tính lịch sử về mô hình trong lĩnh vực này. Chúng tôi chuyển dần dần từ việc triển khai cơ bản sang mô hình GNN hiện đại. Thứ tư và cuối cùng, chúng tôi cung cấp một sân chơi GNN nơi bạn có thể thử nghiệm tác vụ và tập dữ liệu từ thực tế để xây dựng trực giác mạnh mẽ hơn về cách mỗi thành phần của mô hình GNN đóng góp vào các dự đoán mà nó đưa ra. Để bắt đầu, hãy thiết lập biểu đồ là gì. Biểu đồ biểu thị các mối quan hệ (cạnh) giữa một tập hợp các thực thể (nút). Ba loại thuộc tính chúng ta có thể tìm thấy trong biểu đồ, hãy di chuột qua để đánh dấu từng thuộc tính. Các loại biểu đồ và thuộc tính khác được khám phá trong phần Các loại biểu đồ khác. Để mô tả thêm từng nút, cạnh hoặc toàn bộ biểu đồ, chúng ta có thể lưu trữ thông tin trong từng phần của biểu đồ này. Thông tin ở dạng vô hướng hoặc nhúng có thể được lưu trữ tại mỗi nút đồ thị (trái) hoặc cạnh (phải). Ngoài ra, chúng ta có thể chuyên môn hóa đồ thị bằng cách liên kết tính định hướng với các cạnh (có hướng, vô hướng). Các cạnh có thể được định hướng, trong đó cạnh $e$ có nút nguồn, $v_{src}$ và nút đích $v_{dst}$. Trong trường hợp này, thông tin chuyển từ $v_{src}$ đến $v_{dst}$. Chúng cũng có thể không được định hướng, trong đó không có khái niệm về nút nguồn hoặc nút đích và thông tin truyền theo cả hai hướng. Lưu ý rằng việc có một cạnh vô hướng duy nhất tương đương với việc có một cạnh có hướng từ $v_{src}$ đến $v_{dst}$ và một cạnh có hướng khác từ $v_{dst}$ đến $v_{src}$. Đồ thị là cấu trúc dữ liệu rất linh hoạt và nếu bây giờ điều này có vẻ trừu tượng, chúng tôi sẽ làm cho nó cụ thể hơn bằng các ví dụ trong phần tiếp theo. Đồ thị và nơi tìm thấy chúng Có thể bạn đã quen thuộc với một số loại dữ liệu biểu đồ, chẳng hạn như mạng xã hội. Tuy nhiên, biểu đồ là một cách biểu diễn dữ liệu cực kỳ mạnh mẽ và tổng quát, chúng tôi sẽ hiển thị hai loại dữ liệu mà bạn có thể nghĩ rằng không thể mô hình hóa thành biểu đồ: hình ảnh và văn bản. Mặc dù phản trực giác, nhưng người ta có thể tìm hiểu thêm về tính đối xứng và cấu trúc của hình ảnh và văn bản bằng cách xem chúng dưới dạng biểu đồ và xây dựng trực giác giúp hiểu các dữ liệu biểu đồ ít dạng lưới khác mà chúng ta sẽ thảo luận sau. Hình ảnh dưới dạng đồ thị Chúng ta thường coi hình ảnh là các lưới hình chữ nhật với các kênh hình ảnh, biểu diễn chúng dưới dạng mảng (ví dụ: các hình nổi 244x244x3). Một cách khác để hình dung hình ảnh là các biểu đồ có cấu trúc thông thường, trong đó mỗi pixel đại diện cho một nút và được kết nối qua một cạnh với các pixel liền kề. Mỗi pixel không viền có chính xác 8 pixel lân cận và thông tin được lưu trữ tại mỗi nút là vectơ 3 chiều biểu thị giá trị RGB của pixel. Một cách trực quan hóa khả năng kết nối của đồ thị là thông qua ma trận kề của nó. Chúng tôi sắp xếp các nút, trong trường hợp này là mỗi nút có kích thước 25 pixel trong một hình ảnh 5x5 đơn giản có hình mặt cười và điền vào ma trận $n_{nodes} \times n_{nodes}$ một mục nhập nếu hai nút có chung một cạnh. Lưu ý rằng mỗi cách trình bày trong số ba cách trình bày dưới đây là các chế độ xem khác nhau của cùng một phần dữ liệu. Nhấp vào pixel hình ảnh để chuyển đổi giá trị của nó và xem cách biểu diễn biểu đồ thay đổi như thế nào. Văn bản dưới dạng biểu đồ Chúng ta có thể số hóa văn bản bằng cách liên kết các chỉ mục với từng ký tự, từ hoặc mã thông báo và biểu diễn văn bản dưới dạng một chuỗi các chỉ mục này. Điều này tạo ra một biểu đồ có hướng đơn giản, trong đó mỗi ký tự hoặc chỉ mục là một nút và được kết nối thông qua một cạnh với nút theo sau nó. Chỉnh sửa văn bản ở trên để xem cách biểu diễn biểu đồ thay đổi như thế nào. Tất nhiên, trong thực tế, đây thường không phải là cách mã hóa văn bản và hình ảnh: những cách biểu diễn đồ thị này là dư thừa vì tất cả hình ảnh và tất cả văn bản sẽ có cấu trúc rất đều đặn. Ví dụ: hình ảnh có cấu trúc dải trong ma trận kề của chúng vì tất cả các nút (pixel) đều là hình nón.