A Fistful of Words: Facebook proposes an improved text encoder for CLIP

Trong bài viết “A Fistful of Words”, Facebook đã giới thiệu một phương pháp cải tiến cho phần encoder văn bản của mô hình CLIP (Contrastive Language-Image Pre-training). Các nhà nghiên cứu đã thực hiện một số thay đổi quan trọng để cải thiện hiệu suất của mô hình trong việc học tập từ văn bản và hình ảnh.

Một trong những thay đổi chính là việc shuffle các từ trong văn bản đầu vào và loại bỏ những từ không có ý nghĩa hoặc từ高频词. Kết quả là một bộ sưu tập từ (BoW – Bag of Words) được cải tiến, giúp mô hình đạt được kết quả tốt hơn trong việc học tập.

Để giải quyết vấn đề dữ liệu có nhiều hình ảnh hơn văn bản, các nhà nghiên cứu đã đề xuất một phương pháp học bán监督. Họ sử dụng các văn bản có sẵn để huấn luyện mô hình, sau đó sử dụng các表征 từ hình ảnh để tìm kiếm các từ quan trọng trong văn bản. Để làm phong phú hơn kết quả tìm kiếm, mỗi hình ảnh được tạo ra nhiều view khác nhau và thực hiện nhiều lần tìm kiếm, sau đó kết hợp kết quả để chọn ra các từ quan trọng.

Một vấn đề quan trọng được đề cập trong bài viết là việc xác định những phần nào của subtitle là cần thiết để huấn luyện mô hình visual model. Các nhà nghiên cứu đã thảo luận về việc liệu chúng ta có thực sự cần sử dụng subtitle tự nhiên để huấn luyện mô hình visual model hay không, và liệu có thể tìm ra một hình thức监督 đơn giản hơn để thay thế subtitle trong quá trình huấn luyện.

Chi tiết bài viết

“`