github 專案介紹 – smart_open

專案網址

專案簡介

smart_open 是一個 Python 2 和 Python 3 程式庫，用於S3，HDFS，WebHDFS，HTTP或本地端（壓縮過）檔案，高效地傳輸(上傳/下載)大型的檔案。它可以是 Python 內建open（）的直接替代品

為什麼使用這個程式庫？

使用 Amazon 的預設 Python 程式庫 boto 和 boto3 處理大型 S3 檔案是一件痛苦的事。它的key.set_contents_from_string（）和key.get_contents_as_string（）方法僅適用於小檔案（載入到 RAM 中，沒有支援串流式傳輸）。

當使用 boto 面對大型檔案所需的分段上傳功能以及大量樣板時，有一些討厭的隱藏問題。

smart_open 可以保護你。它建立在 boto3 上，但提供了一個更乾淨的 Pythonic API。結果是你編寫的程式碼更少，並且可以減少更少的錯誤。