Contents
專案簡介
smart_open 是一個 Python 2 和 Python 3 程式庫,用於S3,HDFS,WebHDFS,HTTP或本地端(壓縮過)檔案,高效地傳輸(上傳/下載)大型的檔案。 它可以是 Python 內建open()的直接替代品
為什麼使用這個程式庫?
使用 Amazon 的預設 Python 程式庫 boto 和 boto3 處理大型 S3 檔案是一件痛苦的事。 它的key.set_contents_from_string()和key.get_contents_as_string()方法僅適用於小檔案(載入到 RAM 中,沒有支援串流式傳輸)。
當使用 boto 面對大型檔案所需的分段上傳功能以及大量樣板時,有一些討厭的隱藏問題。
smart_open 可以保護你。 它建立在 boto3 上,但提供了一個更乾淨的 Pythonic API。 結果是你編寫的程式碼更少,並且可以減少更少的錯誤。