fbpx

github 專案介紹 – smart_open

專案網址 

smart_open

專案簡介

smart_open 是一個 Python 2 和 Python 3 程式庫,用於S3,HDFS,WebHDFS,HTTP或本地端(壓縮過)檔案,高效地傳輸(上傳/下載)大型的檔案。 它可以是 Python 內建open()的直接替代品
 

為什麼使用這個程式庫?

 
使用 Amazon 的預設 Python 程式庫 boto 和 boto3 處理大型 S3 檔案是一件痛苦的事。 它的key.set_contents_from_string()和key.get_contents_as_string()方法僅適用於小檔案(載入到 RAM 中,沒有支援串流式傳輸)。
 
當使用 boto 面對大型檔案所需的分段上傳功能以及大量樣板時,有一些討厭的隱藏問題。
 
smart_open 可以保護你。 它建立在 boto3 上,但提供了一個更乾淨的 Pythonic API。 結果是你編寫的程式碼更少,並且可以減少更少的錯誤。

喜歡我們的分享嗎? 使用以下的社群分享按鈕也分享給你的朋友吧!

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步瞭解 Akismet 如何處理網站訪客的留言資料

Powered by WordPress.com.

Up ↑

%d 位部落客按了讚: