Tóm tắt Chương 5: Summarising and analysing data — MA

Big data: khối dữ liệu khổng lồ từ mạng xã hội, công cụ tìm kiếm, thiết bị di động, cảm biến, vượt xa dữ liệu tài chính truyền thống.
Năm đặc điểm 5V: volume (quy mô), velocity (tốc độ, thời gian thực), variety (nhiều dạng), value (mức hữu ích cho quyết định), veracity (độ trung thực, tin cậy).
Structured data nằm trong trường cố định (hàng, cột), dễ phân tích nhất; semi-structured data có một phần cấu trúc (email: người gửi, ngày gửi có cấu trúc, nội dung tự do); unstructured data (video, ghi âm, hình ảnh) khó phân tích nhất.
Data analytics: descriptive (chuyện gì đang xảy ra), diagnostic (vì sao), predictive (sẽ xảy ra gì), prescriptive (nên làm gì).
Big data giúp tăng giá trị kinh doanh, phục vụ chiến lược, ra quyết định nhanh, linh hoạt, dựa trên bằng chứng định lượng.
Descriptive analysis mô tả dữ liệu đang có; inferential analysis dùng sample để suy ra kết luận cho population.

Ungrouped data: tần suất cho từng giá trị. Grouped data: tần suất cho từng khoảng (class), mất giá trị riêng của từng quan sát. Cumulative frequency cộng dồn tần suất.
Mean ungrouped: x = Σxn; mean bảng tần suất: x = ΣfxΣf (có trong bảng công thức).
Dữ liệu phân tổ dùng midpoint làm x; lớp mở giả định rộng bằng lớp liền kề. Giá bình quân = tổng tiền ÷ tổng số lượng.
Mode: giá trị xuất hiện nhiều nhất (giá trị x, không phải tần suất).
Median: xếp thứ tự, lấy phần tử thứ (n + 1) ÷ 2; n chẵn thì lấy trung bình hai phần tử giữa.
Mean dùng toàn bộ dữ liệu nhưng bị giá trị cực đoan kéo lệch; mode và median không bị kéo lệch; cả ba không đo độ phân tán.

σ = √Σfx²Σf − (ΣfxΣf)²

Standard deviation đo trung bình các giá trị cách mean bao xa. Dạng ungrouped: σ = √Σ(x − x)²n; dạng tính nhanh √Σx²n − x² (không in riêng trong bảng công thức; là công thức bảng tần suất khi mọi f = 1).
Variance = σ², đơn vị bình phương; σ = variance.
Bảng tính chuẩn: x, f, fx, x², fx²; fx² là f × x².
Coefficient of variation = σx: độ phân tán tương đối, dùng để so các tập dữ liệu có mean hoặc đơn vị khác nhau; CV càng lớn càng phân tán.

EV = Σpx

EV là trung bình có trọng số theo xác suất; tổng xác suất phải bằng 1; khoản lỗ mang dấu âm.
Hạn chế: chỉ đúng về lâu dài nên không hợp quyết định một lần; phụ thuộc xác suất ước tính; bỏ qua rủi ro (độ phân tán của kết quả).

z = x − μσ

Hình chuông, đối xứng quanh mean μ; tổng diện tích bằng 1; mỗi bên mean 0.5; tại cùng số độ lệch chuẩn, diện tích như nhau với mọi phân phối chuẩn.
Khoảng 68% quan sát trong μ ± 1σ, 95% trong μ ± 1.96σ, 99% trong μ ± 2.58σ.
Bảng z cho diện tích từ mean tới z (một phía). Vùng đuôi: 0.5 − bảng; vùng chứa mean: 0.5 + bảng; hai phía mean: cộng; cùng một phía: trừ.
Tìm ngược: đổi tỷ lệ thành diện tích từ mean, tra ngược ra z, rồi x = μ + zσ (z âm nếu x dưới mean). Nếu đề cho variance, lấy căn ra σ trước.