Nội dung thực tế trong các kỳ phỏng vấn kỹ sư AI tại OpenAI, Anthropic, Mistral và Meta

Quá trình chuẩn bị cho một buổi phỏng vấn kỹ sư AI thường diễn ra như sau: hàng chục thẻ trình duyệt Glassdoor, một chủ đề thảo luận trên Reddit từ năm 2023, ba video trên YouTube, một bài báo khoa học đọc dở và hoàn toàn không nắm được doanh nghiệp cụ thể sẽ đưa ra câu hỏi nào. Qua tổng hợp và phân tích 270 báo cáo phỏng vấn công khai—gồm các bài viết và video trong đó ứng viên nêu rõ tên công ty cùng câu hỏi cụ thể—và phân loại theo từng đơn vị, điểm đáng chú ý đầu tiên là mỗi phòng nghiên cứu hàng đầu đều có đặc trưng riêng. Việc chuẩn bị cho các kỳ "phỏng vấn AI" một cách chung chung sẽ khiến ứng viên không đáp ứng được yêu cầu của bất kỳ đơn vị nào. Dưới đây là nội dung phỏng vấn thực tế tại từng doanh nghiệp. OpenAI: Thiết kế gắn liền với các ràng buộc thực tế 9 câu hỏi được ghi nhận · 6 vị trí cao cấp, 3 vị trí trung cấp Danh sách câu hỏi của OpenAI chủ yếu tập trung vào thiết kế hệ thống đi kèm các ràng buộc nghiêm ngặt: độ trễ, chi phí, phân quyền và khả năng phục vụ đồng thời nhiều bên thuê (tenants). "Thiết kế một hệ thống RAG đáp ứng các mục tiêu nghiêm ngặt về độ trễ và chi phí trong khi phục vụ đồng thời nhiều bên thuê." "Thiết kế một agent tìm kiếm tài liệu nội bộ có khả năng tuân thủ phân quyền, trích dẫn nguồn và từ chối trả lời khi cần thiết." (câu hỏi này cũng được ghi nhận tại Google và Lyft) "Thiết kế một khung vận hành (harness) nhằm thực thi an toàn cho agent có sử dụng công cụ, cùng một nền tảng đánh giá đi kèm." "Cho một mô hình Transformer quy mô nhỏ có một số lỗi. Hãy sửa các lỗi này, sau đó bổ sung KV cache phục vụ quá trình giải mã (decoding)." Mục đích đánh giá: Khả năng xây dựng hệ thống vận hành ổn định trong môi trường thực tế (production), thay vì chỉ dừng lại ở mức thử nghiệm (demo). Các yêu cầu như "từ chối trả lời khi cần thiết" và "nền tảng đánh giá đi kèm" cho thấy doanh nghiệp chú trọng đến việc thiết lập cơ chế kiểm soát an toàn (guardrails) và đo lường ngay từ khâu thiết kế ban đầu. Anthropic: Tính toán định lượng trực tiếp 10 câu hỏi được ghi nhận · 7 vị trí cao cấp, 3 vị trí trung cấp Bộ câu hỏi của Anthropic tương tự một bài thi về hạ tầng kỹ thuật, đòi hỏi khả năng ước tính nhanh các thông số kỹ thuật ngay tại chỗ. "Cần sao chép 500 GB trọng số mô hình tới 1.000 máy trạm GPU qua các đường truyền 10 Gbps dùng chung. Giới hạn thời gian tối thiểu là bao nhiêu và giải pháp xây dựng hệ thống là gì?" "Hãy ước tính số phép tính FLOP, dung lượng byte của tham số và kích hoạt (activation) của một lớp FFN, cùng lưu lượng truyền thông khi phân mảnh (sharding) lớp này. Yếu tố nào đóng vai trò là điểm nghẽn giới hạn: năng lực tính toán, bộ nhớ HBM hay băng thông mạng?" "Tìm và sửa lỗi trong một vòng lặp huấn luyện GRPO. Tỷ lệ xác suất là gì và lỗi phát sinh từ đâu?" "Chuyển đổi một LLM thành bộ phân loại nhị phân bằng cách sử dụng log-probs và hàm log-sum-exp." Phân tích cho câu hỏi đầu tiên: Mỗi máy trạm nhận 500 GB qua đường truyền riêng 10 Gbps, do đó 400 giây là mức thời gian tối thiểu theo lý thuyết. Nếu phân phối dữ liệu từ một máy duy nhất, thời gian hoàn thành sẽ mất khoảng 4,6 ngày. Giải pháp tối ưu là biến mỗi nút nhận dữ liệu thành nút tải lên: chia nhỏ trọng số và truyền theo cấu trúc hình cây (pipeline trees) hoặc cơ chế mạng ngang hàng tương tự BitTorrent, qua đó rút ngắn thời gian tiệm cận mức 400 giây. Ngoài ra, cần trình bày về cấu trúc liên kết mạng (topology - một bản sao cho mỗi cổng kết nối rack), mã kiểm tra tính toàn vẹn (checksum) và khả năng khôi phục sau sự cố. Mục đích đánh giá: Khả năng tư duy dựa trên các thông số dữ liệu, băng thông và điểm nghẽn kỹ thuật thay vì chỉ dừng lại ở việc vẽ sơ đồ khối trừu tượng. Mistral AI: Xây dựng trực tiếp từ nền tảng 16 câu hỏi được ghi nhận (nhiều nhất trong số các phòng nghiên cứu) · 10 vị trí trung cấp, 5 vị trí cao cấp, 1 vị trí sơ cấp Mistral tập trung sâu vào cấu trúc bên trong của mô hình, yêu cầu ứng viên lập trình trực tiếp. "Dựa trên các giá trị logits từ một mô hình ngôn ngữ đơn giản, hãy lập trình thuật toán giải mã greedy, top-k và top-p bằng thư viện NumPy." "Lập trình cơ chế multi-head self-attention xử lý theo lô (batched) có sử dụng causal mask." "RMSNorm khác LayerNorm ở điểm nào và vì sao các mô hình hiện nay ưu tiên sử dụng RMSNorm?" "Giải thích cơ chế FSDP cùng các giai đoạn 1, 2 và 3 của ZeRO. Cách thức gối đầu (overlap) giữa tính toán và truyền thông dữ liệu được thực hiện như thế nào?" "Một hệ thống chatbot RAG liên tục đưa ra câu trả lời sai. Quy trình xác định nguyên nhân và phương án khắc phục được triển khai ra sao?" Mục đích đánh giá: Mức độ hiểu biết sâu sắc về cấu trúc bên trong của mô hình, từ các lớp chuẩn hóa (norms), KV cache cho tới thuật toán tối ưu hóa (optimizer). Đây là điểm phân hóa rõ rệt đối với những ứng viên chỉ có kinh nghiệm gọi API đơn thuần. Meta: Phát triển agent toàn trình (end-to-end) 9 câu hỏi được ghi nhận · 7 vị trí cao cấp (senior), 2 vị trí trung cấp (mid) Các câu hỏi dành cho vị trí cao cấp tại Meta là những bài toán thiết kế mở quy mô lớn, tập trung chủ yếu vào các tác tử (agent) và trợ lý lập trình. "Thiết kế một tác tử rà soát mã nguồn kết hợp điều phối LLM với các công cụ tất định (deterministic tools)." "Làm thế nào để ngăn chặn một tác tử lập trình làm rò rỉ mã nguồn nội bộ, cả trong quá trình huấn luyện và khi suy luận?" "Thiết kế toàn diện một trợ lý lập trình sử dụng LLM: dữ liệu, mô hình và đánh giá." "Triển khai cơ chế tự chú ý (self-attention), nêu độ phức tạp về thời gian, bộ nhớ và mô tả các biến thể tối ưu hiệu năng." Nội dung đánh giá: Khả năng xác định phạm vi một hệ thống lớn, nắm rõ ranh giới giữa LLM và mã nguồn tất định, đồng thời coi bảo mật là một phần cốt lõi trong thiết kế. Google: Giai đoạn hậu huấn luyện (post-training) và các tác tử an toàn 11 câu hỏi được ghi nhận · 6 vị trí cao cấp (senior), 4 vị trí trung cấp (mid), 1 vị trí sơ cấp (junior) "Làm thế nào để phát hiện và ngăn chặn hiện tượng trục lợi phần thưởng (reward hacking) trong giai đoạn hậu huấn luyện LLM?" "Thiết kế hệ thống LLM tóm tắt đánh giá thương mại điện tử có khả năng chống tấn công chèn câu lệnh (prompt injection) và không làm rò rỉ dữ liệu cá nhân." "Thiết kế một dịch vụ có khả năng mở rộng, trong đó tác tử AI lập kế hoạch công việc và gọi các công cụ được phê duyệt mà không vượt qua các cơ chế kiểm soát tất định." Câu hỏi trọng tâm cần chuẩn bị cho mọi cuộc phỏng vấn "Triển khai cơ chế tự chú ý đa đầu theo lô (batched multi-head self-attention) với mặt nạ nhân quả (causal mask)." Câu hỏi này được ghi nhận tại Mistral AI, ByteDance, Meta, Apple và Uber, nhiều hơn bất kỳ câu hỏi nào khác trong bộ dữ liệu. Kết hợp với các biến thể bộ nhớ đệm KV (KV-cache) xuất hiện tại OpenAI, Netflix và Mistral, việc tự lập trình cơ chế chú ý từ đầu là nội dung ôn luyện mang lại hiệu quả cao nhất. Quy trình ôn luyện trên nền tảng LLM Dojo Toàn bộ nội dung này đã được tích hợp vào LLM Dojo, giúp việc chuẩn bị cho một doanh nghiệp cụ thể chỉ gói gọn trong một thẻ trình duyệt thay vì hai mươi thẻ. Cấu trúc một buổi ôn tập gồm các bước sau: 1. Truy cập trang của doanh nghiệp mục tiêu. Toàn bộ câu hỏi do ứng viên phản ánh được phân loại theo cấp độ, kèm liên kết dẫn đến báo cáo gốc. 2. Đọc câu hỏi và trả lời thành tiếng trong một đến hai phút như phỏng vấn thực tế. Việc trả lời thành tiếng sẽ làm bộc lộ các lỗ hổng kiến thức. 3. Mở câu trả lời mẫu và đối chiếu. Mỗi câu trả lời đều súc tích, phù hợp để trình bày trong phỏng vấn và trích dẫn đầy đủ nguồn tham khảo: bài báo nghiên cứu, sách chuyên ngành, số liệu đo lường. 4. Nếu chưa nắm vững, người học có thể mở bài giảng. Mỗi chủ đề đều liên kết với bài học có phòng thực hành tương tác, giúp quan sát cơ chế hoạt động thay vì học vẹt: so sánh tốc độ nạp trước (prefill) và giải mã (decode), điều chỉnh dung lượng bộ nhớ đệm KV bằng thanh trượt, theo dõi từng bước thuật toán BPE, chạy mô hình GPT-2 theo từng mã định danh (token) trực tiếp trên trình duyệt. 5. Ôn tập ngắt quãng. Khi đăng nhập (miễn phí), các nội dung chưa đạt sẽ tự động xuất hiện lại sau 1 ngày, 3 ngày, rồi 7 ngày, cho đến khi được ghi nhớ hoàn toàn. Hệ thống tài liệu tập trung 492 câu hỏi phỏng vấn từ cấp độ sơ cấp đến cao cấp, mỗi câu hỏi đều kèm lời giải mẫu 262 câu hỏi trong số đó đư