Tìm hiểu và triển khai các thuật toán phân lớp cho dữ liệu lớn

Abstract

Trong bối cảnh dữ liệu nhiều chiều ngày càng trở nên phổ biến trong học máy, việc lựa chọn đặc trưng hiệu quả đóng vai trò then chốt trong việc xây dựng các mô hình phân lớp dữ liệu chính xác, đồng thời tối ưu hóa chi phí tính toán. Luận văn này đề xuất và phát triển hai mô hình lựa chọn đặc trung: Top Frequency-Based Feature Selection (TFFS) và Hybrid Feature Selection Paradigm. Mô hinh hybrid được thiết kế dựa trên kết quả từ TFFS như một giai đoạn nền tảng, sau đó kết hợp các kỹ thuật chọn lọc đặc trưng cổ điển để tạo ra các tập hợp con đặc trưng mạnh mẽ. Những tập hợp này được áp dụng vào bốn mô hình phân lớp phổ biến gồm Naive Bayes, Decision Tree, K-Nearest Neighbors và Support Vector Machine nhằm kiểm chứng hiệu quả của các đặc trưng được lựa chọn. Mục tiêu của các mô hình là giảm số lượng đặc trưng cần thiết trong khi vẫn xây dựng được các mô Minh phân lớp mạnh thể với độ chính xác cao. Kết quả thực nghiệm cho thấy, cả hai phương pháp đề xuất không chỉ vượt trội hơn các phương pháp truyền thống về độ chính xác mà còn giải quyết hiệu quả thách thức của dữ liệu nhiều chiều trong bài toán phân lớp. Đặc biệt, mô hình hybrid đã chứng minh tiềm năng ứng dụng rộng rãi trong các lĩnh vực như y học, tài chính, và phân tích dữ liệu lớn, đồng thời mở ra những hướng nghiên cứu mới trong việc lựa chọn đặc trưng và phân lớp dữ liệu phức tạp.