Giới Thiệu

• Google Cloud Storage là một đối tượng lưu trữ được sử dụng như vùng chuẩn bị để di chuyển dữ liệu đến các thành phần khác của GCP như: Cloud SQL, BigQuery, Cloud Dataproc.
• Nó có thể lưu trữ dữ liệu với bất kỳ định dạng nào.
• Thay vì phải lưu trữ dữ liệu trên trực tiếp trên Compute Engine, chúng ta sẽ lưu trên Cloud Storage, điều này sẽ hiệu quả và tiết kiệm hơn. Cloud Storage là một persistent storage, có độ bền cao, cùng khả năng sao lưu, nhân bản dữ liệu, và có thể được truy cập bằng HTTP URL. 

Các thuật ngữ:

• Buckets: Là một không gian để lưu trữ dữ liệu. Mọi thứ bạn lưu trữ trên Google Cloud Storage đều được đặt trong này. Bạn có thể sử dụng Bucket để tổ chức, sắp xếp và quản lý truy cập đến dữ liệu.
• Bucket names: Nên chọn những tên độc lập cho các Bucket. Bên cạnh đó, tên của Bucket cũng có thể được sử dụng cho việc chuyển hướng CNAME, vì vậy cần phải lưu ý đặt tên sao cho phù hợp với qui ước của DNS. 
• Objects: Đây là một phần của dữ liệu được lưu trữ trong Google Cloud Storage. Object được chia làm 2 phần: Dữ liệu của Object và siêu dữ liệu ( metadata) của Object. Trong đó, dữ liệu của Object thường là một file được lưu trữ trong Google Cloud Storage. Còn siêu dữ liệu của Object là tập hợp các cặp giá trị “Key : Value” dùng để mô tả đối tượng, một điều nữa là không có giới hạn trong việc tạo Object trong một Bucket. 

Xử lý dữ liệu

• Chúng ta có thể sử dụng một dịch vụ chuyển dữ liệu từ AWS S3 hoặc từ máy tính của bạn lên Cloud Storage.
• Các quyền yêu cầu: quyền thiết lập project, bucket và object. 

Tạo Bucket bằng GCP Console

• Click vào “CREATE BUCKET”

• Nhập tên và chọn vào mục “Storage”, tiếp đến chọn “Create”

Tạo Bucket bằng câu lệnh gsutil 

• Bằng việc cài đặt và sử dụng gcloud sdk , chúng ta có thể thực hiện các câu lệnh để tương tác với GCP. 

ví dụ: 

gsutil mb gs://simpletext

• Với câu lệnh trên, một bucket sẽ được tạo ra.Truy cập vào Storage Dashboard để kiểm tra.

• Nếu lúc tạo Bucket không chỉ định storage class, nó sẽ dùng mặc định là multi-region. 

• Khi có một số  lượng lớn các file, bạn có thể sử dụng “gsutil -m” để tiến hành chuyển dữ liệu, nó có hỗ trợ tính năng đa luồng giúp sao chép hiệu quả hơn. 

gsutil -m cp test*.txt gs://simpletext

• Sau khi copy file lên Bucket, chúng ta có thể phân quyền truy cập và chia sẻ file, chọn vào “Share publicly”.
• Ngoài ra, còn nhiều câu lệnh có ích khác khác như: move dữ liệu từ bucket này sang bucket khác, list ra các bucket, ….

Thiết lập dịch vụ Transfer

• Trên Dashboard của Cloud Storage, chọn vào “Transfer”, tiếp đến click vào “Create transfer”.

• Chọn các files muốn copy, sau đó chọn “Continue”

• Bạn có thể chỉ định địa chỉ đích của Bucket mà bạn muốn copy đến.  Chọn vào “Continue”.

• Ở bước này, bạn có thể nhấn vào “Run Now” để thực thi luôn, hoặc “Run daily at <time>” nếu muốn lên lịch để chạy. Cuối cùng, nhấn “Create”.

Kết luận

Như vậy, chúng ta vừa lướt qua những thông tin về Google Cloud Storage, đồng thời cũng biết cách tạo Bucket trên GCP. Chúc các bạn thành công !