[AI Challenge] Khắc phục lỗi giới hạn lượt tải chỉ với 5 thao tác

Chào các bạn, cuộc thi UIT AI Challenge đang diễn ra rất sôi nổi với 110 đội và hơn 220 thí sinh tham gia dự thi. Đây là cuộc thi có nội dung liên quan đến AI lần đầu tiên được tổ chức tại UIT, đề bài cuộc thi xuất phát từ bài toán thực tế đó là nhận diện thương hiệu trong ảnh, cụ thể trong cuộc thi lần này chúng ta sẽ nhận diện 6 logo thường xuất hiện trong ảnh chụp và trong các ẩn phẩm truyền thông.

Hình 1. Scoreboard của cuộc thi, các đội đang cạnh tranh rất sôi nổi và đạt được điểm số rất cao

Tuy nhiên như các bạn đã biết, Google Drive đã giới hạn lượt tải của dataset mà BTC cung cấp, điều này gây ra một số trở ngại cho thí sinh dự thi.

Hình 2.1. Thí sinh gặp khó khăn khi gdown một tệp bị giới hạn lượt tải
Hình 2.2. Thí sinh gặp trường hợp tương tự

Do đó bài viết này sẽ hướng dẫn các bạn khắc phục lỗi trên chỉ với 5 thao tác cơ bản thôi nha. Chúng ta bắt đầu nào !!

Bước 1: Vào trang submission | cs.uit.aiclub

Đường dẫn trang submission: http://submission.mmlab.uit.edu.vn/
Sau khi đăng nhập, các bạn hãy nhấp chọn cuộc thi hiện tại nhé.

Hình 3. Trang nộp kết quả dự thi

Tiếp theo hãy chọn mục “Data”, chúng ta sẽ thấy “Thư mục chứa dữ liệu”

Hình 4. Vào thư mục chứa dữ liệu
Hình 5. Thư mục chứa dữ liệu

Bước 2: Copy tệp tin cần tải

Hiện tại, các tệp tin này đang bị giới hạn lượt tải, bởi vì nó là tệp tin được chia sẻ bởi BTC và có quá nhiều lượt tải trong một thời gian ngắn.
Do đó, bạn cần biến nó thành tệp tin có quyền sở hữu của mình bằng cách nhân bản nó lên.

Hình 6. Make a copy – tạo một bản sao

Tuy nhiên sau khi click vào đó các bạn vẫn sẽ không thấy tệp tin bản sao nằm ở đâu, điều này đưa chúng ta đến bước 3.

Bước 3: Về thư mục My Drive

Đối với tất cả những thứ mà chúng ta được share (nằm trong mục “Share with me”), khi chúng ta nhân bản nó lên thì bản sao sẽ nằm ở mục “My Drive”

Hình 7. Tèn tenn nó đây nè!

Nhớ đổi tên sao cho giống với file cũ để khỏi phải chỉnh sửa code bên Google Colab nha

Hình 8. Đổi tên tệp tin

Ok bây giờ làm sao để sử dụng nó đây ta?

Tiện đây mình sẽ hướng dẫn các bạn cách dùng Google Colab down load 1 file từ Google Drive với tốc độ mạng thần thánh của anh Google nha, trung bình tốc độ mạng ở đây khoảng 200 MBps đó 🐱‍🏍🐱‍🏍

Bước 4: Tạo id public cho file .zip

Đây là một kỹ thuật siêu đơn giản nhưng siêu mạnh mẽ khi ta tận dụng tối đa tài nguyên của Google mang lại, sử dụng nó thông qua câu lệnh linux sau:

!gdown --id <id_of_file> -O <out_file_name>

Trong đó:
<id_of_file> là id của file mà chúng ta cần tải
<out_file_name> là tên file mà chúng ta muốn sau khi tải về

Vậy id của file lấy như thế nào? – đầu tiên các bạn share file .zip ở dạng public như sau:

Hình 9. Nhấp chuột phải bấm share
Hình 9. Share ở dạng public

Kết quả là trên dòng link ta có một đường dẫn như sau:
https://drive.google.com/file/d/1onsbmBLR279EG1Sgx7YfQ8LsKgBoKDQn/view?usp=sharing

Id của file này chính là đoạn ký tự từ sau “/d/” cho đến trước “/view?”
Ta được:

1onsbmBLR279EG1Sgx7YfQ8LsKgBoKDQn 

Đây chính là id mà chúng ta cần, giờ thì qua bên Google Colab và xài nó thôi 🐱‍🏍🐱‍🏍

Bước 5: Thay thế id cũ bằng id mới trong câu lệnh gdown

Hình 10. Tải thành công

Kết quả là chúng ta đang tải thành công 🎉
Các bạn thấy đấy, tốc độ tải hiện tại là 210MB/s 🚀🚀 Nhanh hơn tốc độ bạn rep tin nhắn của crush nữa.

Tổng kết

Vậy là hôm nay chúng ta đã biết thêm một skill đơn giản mà cực kì bá đạo rồi nhé.
Nếu có bất cứ thắc mắc gì thì đừng ngần ngại chụp màn hình lại và post bài lên Group CLB nha, tốc độ mọi người rep giải pháp còn nhanh hơn tốc độ gdown nữa, vậy nheeeee .

kadikoy moto kurye umraniye moto kurye tuzla moto kurye atasehir moto kurye moto kurye moto kurye moto kurye moto kurye

Tặng bạn một bông hoa 🌸
Và chúc bạn hoàn thành bài thi với kết quả thật cao nhé.

Leave a Reply

Your email address will not be published. Required fields are marked *