DỰ ÁN 04: CRAWL TOÀN BỘ NỘI DUNG KHÓA HỌC EDX
I. Ý tưởng chính
Bạn đã quá tham lam khi đăng ký ty tỷ khóa học free trên Edx nhưng cũng có ty tỷ lý do để không hoàn thành được một khóa học nào lên hồn ? Ngày hết hạn truy cập khóa học đang đến gần, bạn cuống cuồng tìm cách tải các nội dung của một khóa học để tự an ủi mình rằng mình sẽ học nó sau ? Để tôi giúp các bạn tiếp tục duy trì mộng tưởng đó bằng tool này 😉 (không phải vì tôi cũng như thế nên hiểu được các bạn đâu nhé 😝)
Code có sử dụng thư viện selenium, và tôi code nó trên notebook vì mỗi khóa sẽ có một đặc điểm khác nhau dẫn đến có thể sẽ xuất hiện những yếu tố không như mong đợi trong quá trình chạy các vòng lặp. Những lúc như vậy việc interrupt tiến trình là tối quan trọng và đặc tính của jupytor notebook sẽ giúp bạn không phải download lại TỪ ĐẦU 😱.
Tool sẽ giúp bạn tải toàn bộ nội dung khóa học bao gồm các video, sub, tự động nhấn Show Answer sau đó lưu lại đáp án các bài tập, các tài liệu khác trong khóa học và tự động chia thư mục tương ứng ... (các tool khác hiện hành chủ yếu chỉ hỗ trợ tải mỗi video)
II. Cách sử dụng
Bước 0:
Tải code tại đây
Bước 1:
Tạo folder để lưu các file download tạm thời (temp_dir) và folder để lưu các bài học (Mathematical Methods for Quantitative Finance). Bạn có thể tự đặt tên các folder theo ý thích và cài đặt đường dẫn đến file vào các biến dirc, dl_dir, temp_dir. Run lần lượt từng ô cho đến khi đăng nhập xong. Tại đây các bạn cần lưu ý cài đặt thư mục download mặc định (temp_dir) bằng tay (mặc dù tôi đã code nội dung tự động đổi thư mục download mặc định nhưng không hiểu vì sao không chạy được) trước khi chạy các dòng lệnh tiếp theo.
Bước 2:
Sau khi đã cài đặt thư mục download bằng tay chạy nốt các dòng lệnh còn lại, để ý trong mấy khóa học đầu vì sẽ dễ hiện bảng thông báo chúc mừng hoàn thành tuần đầu khóa học, bạn phải tự tắt bảng này bằng tay thôi 😁. Khi chạy dòng lệnh cuối mà xảy ra lỗi các bạn cần cài lại tên các biến ở dòng thứ 3 một cách hợp lý rồi chạy lại dòng lệnh cuối.
Ví dụ về kết quả:
0 nhận xét: