Chế tạo máy móc có khả năng lắng nghe

Tiếng đập bóng giòn giã hòa cùng tiếng reo hò từ khán đài có thể thu hút sự chú ý của một người hâm mộ bóng chày, ngay cả khi họ bỏ lỡ khoảnh khắc bóng bay ra ngoài sân ghi điểm trực tiếp (home run). Con người có thể là sinh vật thiên về thị giác, song chúng ta cũng nhận thức thế giới xung quanh bằng thính giác. Nhằm cải thiện năng lực nhận thức nhân tạo, Giáo sư Paris Smaragdis (thạc sĩ năm 1997, tiến sĩ năm 2001 tại MIT) đang nỗ lực chế tạo những cỗ máy có khả năng nghe và hiểu âm thanh vượt trội hơn con người. Một cỗ máy sở hữu thính giác siêu việt có thể nhanh chóng xác định vị trí của một vụ tai nạn giao thông thông qua việc phân tích tiếng rít lốp xe và tiếng va chạm kim loại, hoặc phát hiện nguy cơ gãy mũi khoan công nghiệp khi đang xuyên qua lớp đá nền dày đặc để đào giếng địa nhiệt. “Tôi thường nói rằng mình làm công việc tương tự như các chuyên gia trong lĩnh vực thị giác máy tính, nhưng thay vào đó, tôi nghiên cứu về thính giác”, Giáo sư Smaragdis chia sẻ. Ông hiện công tác đồng thời tại chương trình Âm nhạc và Nghệ thuật Sân khấu thuộc Trường Khoa học Xã hội, Nhân văn và Nghệ thuật, cùng Khoa Kỹ thuật Điện và Khoa học Máy tính thuộc Trường Kỹ thuật và Trường Điện toán MIT Schwarzman. Nhóm nghiên cứu của ông tập trung vào các lĩnh vực như học máy nhằm phân tách nguồn âm thanh, các thiết bị thông minh giúp tăng cường khả năng cảm nhận âm thanh môi trường xung quanh cho con người, cùng những công cụ ưu việt hỗ trợ tiếp cận, xử lý, phân tích và sáng tạo âm nhạc. “Xuất phát từ nền tảng âm nhạc, tôi luôn mong muốn nghiên cứu sâu những ý tưởng này. Cần có những điều kiện gì để máy móc có thể hiểu được âm thanh? Tiềm năng ứng dụng dành cho các cỗ máy có khả năng lắng nghe là vô cùng rộng lớn”, ông Smaragdis, người gia nhập MIT vào năm 2025, cho biết. Khởi nguồn âm nhạc Lớn lên tại Hy Lạp, ông Smaragdis bắt đầu chơi guitar cổ điển từ khi còn nhỏ. Ông yêu thích việc biểu diễn các tác phẩm truyền thống, song bước ngoặt trong hành trình âm nhạc đã xuất hiện khi cha ông mang về nhà một chiếc đàn synthesizer (nhạc cụ tổng hợp âm thanh) cỡ nhỏ. “Chiếc synthesizer nhỏ bé đó có tính năng cho phép người dùng tự tạo ra âm thanh riêng, và tôi hoàn toàn bị thu hút bởi những tiềm năng mà thiết bị mang lại”, ông chia sẻ. Nhạc cụ synthesizer dần chiếm vị trí nổi bật trong nền âm nhạc đại chúng vào thập niên 1980, càng củng cố niềm say mê của ông đối với công nghệ này. Khi học lên các bậc học cao hơn, ông Smaragdis mong muốn nghiên cứu chuyên sâu về âm nhạc được tạo bởi synthesizer. Tuy nhiên, đây lại không phải là hướng đào tạo được các nhạc viện truyền thống tại châu Âu cung cấp vào thời điểm đó. Do đó, ông quyết định theo học tại Berklee College of Music ở Boston, tham gia một chương trình đào tạo cho phép nghiên cứu ứng dụng máy tính và synthesizer nhằm định hình cũng như xử lý âm thanh. “Với máy tính và synthesizer, tôi có thể tạo ra những âm thanh mới chưa từng được biết đến trước đây”, ông nói. Đồng thời, ông Smaragdis cũng dành nhiều tâm huyết cho thể loại jazz fusion. Ông chọn đàn bass làm chuyên ngành chính tại Berklee nhằm tìm kiếm nhiều cơ hội biểu diễn cùng các dàn nhạc jazz. “Tôi nhận thấy đàn bass mang lại nhiều nét âm thanh thú vị hơn so với guitar. Đó là một lĩnh vực còn nhiều khoảng trống chưa được khám phá, và tôi luôn có xu hướng hướng tới những lĩnh vực mới mẻ như vậy”, ông cho biết. Sự say mê khám phá đó tiếp tục được đưa vào quá trình học tập. Ông cùng người hướng dẫn là Richard Boulanger, giáo sư chuyên ngành sản xuất và thiết kế âm thanh điện tử, đã phát triển các công cụ mới giúp con người sử dụng máy tính để sáng tác, sản xuất và nâng cấp chất lượng âm nhạc. Trong quá trình học tập tại Berklee, ông Smaragdis đã tham gia dự án hợp tác với Giáo sư Barry Vercoe (qua đời năm 2025) tại MIT Media Lab nhằm phát triển các phần mềm tổng hợp âm thanh phục vụ sáng tác. Dựa trên nền tảng của dự án đó, ông Smaragdis tiếp tục theo học chương trình sau đại học trong nhóm nghiên cứu của Giáo sư Vercoe, hoàn thành chương trình thạc sĩ, tiến sĩ và tiếp tục thực hiện nghiên cứu sau tiến sĩ. “Tại Media Lab, tôi được tiếp cận sâu hơn với mảng kỹ thuật máy tính trong lĩnh vực âm nhạc điện toán [computer m ...âm nhạc. Đó là thời điểm sự chú ý của tôi chuyển hướng đôi chút. Khi ấy, tôi thực sự muốn chế tạo những chiếc máy tính có khả năng hiểu được âm thanh”, ông chia sẻ. Hướng tới những lĩnh vực chưa được khai phá Vào thời điểm đó, nhiều sinh viên tại Media Lab đang sử dụng các kỹ thuật xử lý tín hiệu để giúp máy móc xử lý âm thanh. Smaragdis đã lựa chọn một hướng tiếp cận ít người khai thác hơn — học máy (machine learning) — nhằm tạo lối đi riêng. Ông nhận thấy rằng việc huấn luyện các mô hình học máy để hiểu âm thanh mang lại những lợi thế mà các kỹ thuật xử lý tín hiệu truyền thống không thể đạt được. “Theo thời gian, tôi nhận thấy rất rõ ràng rằng chúng ta cần phải dạy máy tính cách lắng nghe. Chúng ta không thể chỉ đơn giản là chỉ dẫn cho chúng nghe như thế nào. Thậm chí, con người còn chưa hiểu rõ cách thức lắng nghe của chính mình”, ông nói. “Chúng ta không có đủ vốn từ để giải thích thế nào là lắng nghe, hay làm sao để phân biệt tiếng mèo kêu với tiếng đàn violin.” Sau khi hoàn thành chương trình sau tiến sĩ, Smaragdis bắt đầu làm việc tại Mitsubishi Electric Research Labs, nơi ông nghiên cứu các hệ thống trí tuệ nhân tạo có khả năng quét dải âm thanh của video và nhận biết những gì đang diễn ra trên màn hình. “Điều gì sẽ xảy ra nếu ghi lại toàn bộ một trận bóng đá, nhưng chỉ muốn xem những diễn biến nổi bật? Trong lĩnh vực thị giác máy tính, việc xác định thế nào là một tình huống nổi bật rất khó khăn. Nhưng mặt khác, nếu chỉ lắng nghe âm thanh, khi đám đông reo hò cuồng nhiệt, ta sẽ biết rằng một điều gì đó hấp dẫn đang diễn ra”, ông cho biết. Hệ thống đó cuối cùng đã được tích hợp vào các thiết bị điện tử, bao gồm hệ thống ghi hình cá nhân do Mitsubishi phát triển vào thời điểm đó, cũng như các hệ thống giám sát giao thông và điện thoại di động. Smaragdis sau đó gia nhập Adobe và thành lập nhóm nghiên cứu âm thanh. Nhóm đã xây dựng các công cụ thân thiện với người dùng nhằm hỗ trợ giới nghệ sĩ, nhạc sĩ và nhà sản xuất xử lý âm thanh mà không đòi hỏi chuyên môn sâu. “Trong quá trình thực hiện công việc đó, tôi liên tục phát hiện những vấn đề kỹ thuật chuyên sâu hơn cần giải quyết. Tôi đã chuyển sang môi trường học thuật để giải quyết niềm thôi thúc này”, ông nói. Smaragdis gia nhập đội ngũ giảng viên tại University of Illinois at Urbana-Champaign, nơi ông cùng nhóm nghiên cứu tích hợp các kỹ thuật học máy mới nhất vào các hệ thống xử lý âm thanh. Một trong những công nghệ do nhóm phát triển đã ứng dụng mạng nơ-ron (neural network) để tách riêng từng nguồn âm từ các bản âm thanh hỗn hợp. Dự án đó đã thu hút sự chú ý của đội ngũ sản xuất loạt phim tài liệu ngắn “The Beatles: Get Back” phát hành năm 2021. Đội ngũ sản xuất đã mời Smaragdis tham gia hỗ trợ lọc sạch một số bản ghi âm lưu trữ của ban nhạc The Beatles. “Đó là một phương thức xử lý âm...