🔬 Nghiên cứu khoa học

Làm sạch dữ liệu: bước không ai kể nhưng ai cũng phải làm

Quy trình rà soát trước phân tích: bắt giá trị vô lý, xử lý thiếu và trùng — có nguyên tắc, có nhật ký.

⏱ 2 phút đọc · Đọc miễn phí, không cần tài khoản

Sự thật ít ai nói với người mới: trong một nghiên cứu thật, thời gian làm sạch dữ liệu thường NHIỀU HƠN thời gian phân tích. Phân tích trên dữ liệu bẩn cho ra kết quả sạch sẽ về hình thức — và sai về nội dung.

Săn giá trị vô lý — 3 câu hỏi cho mỗi biến số

  1. Có nằm ngoài khoảng sống được không? Huyết áp 800, tuổi −2, đường huyết 500 mmol/L — lỗi nhập gần như chắc chắn (thường do gõ thừa số hoặc nhầm đơn vị).

  2. Có mâu thuẫn nội bộ không? Nam giới + 'đang mang thai'; ngày ra viện trước ngày nhập viện; tuổi 25 nhưng năm sinh 1965.

  3. Có bất thường so với phần còn lại không? Một người cao 190cm trong mẫu toàn 150–170: có thể THẬT. Giá trị lạ không tự động là lỗi — chỉ được sửa khi đối chiếu nguồn gốc xác nhận là lỗi.

Quy tắc vàng khi sửa: truy nguồn — đừng đoán

Phát hiện HA 800: quay lại phiếu gốc/bệnh án. Nếu nguồn ghi 180 → sửa thành 180 và ghi chú lý do. Nếu không truy được nguồn → đánh dấu 'thiếu', KHÔNG tự đoán '80 hay 180 gì đó'. Mọi chỉnh sửa đều để lại dấu vết — đây là chuẩn liêm chính dữ liệu.

Dữ liệu thiếu — minh bạch thay vì lấp đầy

  • Đếm tỷ lệ thiếu của TỪNG biến. Biến thiếu 40% gần như không dùng được — và bài học là sửa phiếu/quy trình từ sớm.

  • Báo cáo trung thực: 'phân tích trên 187/200 phiếu có đủ dữ liệu biến X'.

  • Không bao giờ điền đại. Các kỹ thuật thay thế dữ liệu thiếu (imputation) là chuyện nâng cao — với đề tài đầu tay, minh bạch là đủ và đúng.

Bản ghi trùng

Cùng mã số nghiên cứu xuất hiện 2 lần? So từng trường: nếu là một người nhập hai lần, giữ bản đầy đủ/mới hơn và ghi chú; nếu là hai người bị trùng mã, đây là lỗi quy trình cấp mã — xử lý tận gốc chứ không chỉ xóa.

Ở phần Làm: bảng dữ liệu cho phép mở từng phiếu để sửa (mỗi phiếu được kiểm tra theo đúng phiên bản phiếu lúc nhập), xóa bản ghi trùng, và tick 'đã rà soát'. Xuất CSV/Excel bất cứ lúc nào — file xuất mở được ngay trong Excel tiếng Việt không vỡ font.

Còn phần ôn tập cuối bài

Tạo tài khoản miễn phí để làm câu hỏi ôn tập, ghi tiến độ, và đọc tiếp những bài còn lại của Học viện. Không cần thẻ, không ràng buộc.