Soft & Share 開源報報 062

Contents

這是 Soft & Share 為訂閱會員所推出的服務，小編週一到週五會每天整理一篇開源專案的摘要說明整理（中午 12 點前會發佈在 Soft & Share 網站 ) ，讓你可以利用中午休息時間快速掌握目前開源專案的焦點。( 之前出版的開源報報 )

學習資源

資料庫學習資源集錦 – 理解資料庫內部原理的學習材料列表

https://github.com/pingcap/awesome-database-learning

學習資料庫內部原理的學習材料清單，包括但不限於:

論文
部落格
課程
演講

306 個 ASP.NET Core 實用範例

https://github.com/dodyg/practical-aspnetcore

適合在使用 .NET Core 的工程師

這個專案的目標是。 .NET 程式設計師從底層直接從程式碼學習新的 ASP.NET Core 堆疊。在底層的 ASP.NET Core 堆疊中有如此強大的功能。不要錯過！

Deep Learning with Python Notebooks

https://github.com/fchollet/deep-learning-with-python-notebooks

這個專案是 Deep Learning with Python 的書中範例，使用 Jupyter notebook 來實現，這本書目前也有中文翻譯

學習電腦科學開放課程集錦

https://github.com/prakhar1989/awesome-courses

在遍佈網際網路的大學頁面中，藏有很多隱藏的寶藏。此列表目的在揭示那些很棒的電腦科學課程，這些課程可以免費線上提供其高品質的材料，例如作業，講座，筆記，閱讀和考試。

函數程式設計( functional programming ) 學習資源集錦

https://github.com/mmenestret/fp-resources

精選的函數語言程式設計資源列表(主要是基於 Scala 或 Haskell 的)

工具

fd – 使用 Rust 開發，可以取代 find 指令的工具

https://github.com/sharkdp/fd

功能有

方便的語法: fd PATTERN instead of 而不是find -iname ‘PATTERN‘
彩色終端輸出(類似於ls)
速度比 find 快
智慧地區分大小寫：預設情況下搜尋不區分大小寫。如果模式包含大寫字母，則切換為區分大小寫*.
預設情況下忽略隱藏的目錄和檔案
預設情況下忽略你的.gitignore
支援 Regular Expression
Unicode-awareness.
指令名稱比 find 短
語法類似於 GNU Parallel 的並行命令執行

Web 應用程式開發

uppload – 支援 30 個以上的外掛 Javascript 影像上傳器

https://github.com/elninotech/uppload

“這可能是讓你的使用者上傳內容到你的網站的最簡單的方法。”ー Product Hunt

支援 React 、Vue

資料科學

DeepSpeed – 是一個深度學習最佳化程式庫，它使分散式培訓變得簡單、高效和有效

https://github.com/microsoft/DeepSpeed

Deepspeed 可以在當前的 GPU 叢集上訓練超過1000億個參數的數位圖書館模型，同時在系統性能上達到最新水平的5倍以上。 Deepspeed 的早期使用者已經建立了一個具有超過17B 引數的語言模型(LM) ，稱為 Turing-NLG，在 LM 類別中建立了一個新的 SOTA。

為何需要 DeepSpeed ?

訓練高階的深度學習模型是一個挑戰。除了模型設計，模型科學家還需要建立最先進的訓練技術，如分散式訓練、混合精度、梯度累積和檢查點。然而，科學家們仍然可能無法達到預期的系統性能和收斂速度。大型的模型更具挑戰性: 一個大型的模型很容易用完純資料平行的記憶體，並且很難使用模型並行。 DeepSpeed 解決了這些挑戰，以加速模型開發和訓練。

雲端和網路管理

SSH over SSM – 不需要堡壘( bastions )或公開的實例。通過 IAM 管理 SSH 使用者。無需在本地或伺服器上儲存 SSH 金鑰

https://github.com/elpy1/ssh-over-ssm

配置 SSH 並使用 AWS SSM 連線到實例。考慮 git 管理——管理你的配置，以便快速設定並保持使用者最新和同步。

這個專案的動機

最近，我被要求通過 Session Manager 管理 AWS 實例。在下載所需的外掛並使用 aws SSM start-session 在本地啟動 SSM session 之後，我發現自己無法輕鬆地將檔案從電腦複製到伺服器(例如 SCP、 sftp、 rsync 等)。在閱讀了 AWS 文件之後，我發現可以通過 SSH 通過 SSM 連線，從而解決這個問題。你還可以享受 SSH 的其他好處和功能，比如加密、跳轉代理、埠轉發、 socks 等等。