Soft & Share 開源報報 006 – 一個用於建構實用營運等級的深度學習系統，並將其部署到實際應用程式中的指南

學習資源

針對軟體工程師所準備的視訊技術的實踐介紹: 影像、視訊、編解碼器(av1、 vp9、 h265)和更多(ffmpeg 編碼)

• https://github.com/leandromoreira/digital_video_introduction

這個 github 專案不僅僅是一份學習指南文件，每一個章節都還包含一些動手做練習，這些練習是放在一個 docker 容器裡面，所以你在電腦中必須先安裝好 docker 然後再按照作者指示設定好練習的環境

---

iOS App 逆向工程 – 找出安全漏洞

• https://github.com/ivRodriguezCA/RE-iOS-Apps

有些公司會提供獎勵給那些發現 App 安全漏洞的工程師，這個專案的目的就是讓你學習如何透過逆向工程來發現 App 的安全漏洞

這個學習指南也是一本電子書，每一個章節都有實際的練習

---

Tensorflow 2.0 探索

• https://github.com/sayakpaul/TF-2.0-Hacks

Tensorflow 2.0 新增了許多功能，這個 git 專案作者建議除了看官方的指南，他收集了一些強烈推薦的非官方教學指南

Web 應用程式開發

為串流資料處理應用程式所設計的事件串流資料庫

• https://github.com/confluentinc/ksql

要了解這個資料庫的用途之前最好先了解一下 Kafka ，這篇小編找到了對 Kafka 有比較簡單的解釋 https://www.zhihu.com/question/53331259

可以把 Kafka 想像成一個網路應用程式後端的 message queue ，透過 message queue 來決定那些訊息由哪些服務來處理，所以也就有了 pub/sub 這樣的機制

ksqlDB 是 Apache Kafka 的事件串流資料庫。 它是分散式的、可擴展的、可靠的和及時的。 通過熟悉的輕量級 SQL 語法，ksqlDB 結合了即時串流處理的強大功能和關聯資料庫的親切感。

所以可以利用 ksqlDB 跟 Apache Kafka 做整合，如果你要開發一個可以搭配 Apache Kafka 架構的後端服務

---

一個開發環境容器 – 後端使用 golang ，資料庫使用 postgres，web server使用 nginx，前端使用 React

• https://github.com/karlkeefer/pngr

使用 Python 架設一個簡單的 Web 伺服器和靜態網頁產生器

• https://github.com/sunainapai/makesite

這個 github 包含一個範例網站的原始碼，該網站包含兩個靜態部落格和一些靜態頁面。 該網站可以通過執行 makesite.py 生成。

這個專案蠻適合用來練習前端網頁開發

---

CORS 檢查器

• https://github.com/s0md3v/Corsy

什麼是 CORS ?可以參考這篇說明，這個工具使用 Python 開發，只要輸入網址就可以幫你檢查 CORS 的設定是否正確

python corsy.py -u https://example.com

雲端和網路管理

一個專門找網路裝置的線上服務

• https://github.com/achillean/shodan-python

Shodan 是一個用於連線網際網路裝置的搜尋引擎。 Google 讓你搜尋網站，Shodan 讓你搜索裝置。 這個程式庫為開發人員提供了方便的途徑來訪問儲存在 Shodan 的所有資料，以便使任務自動化並整合到現有的工具中。

現在一些網路攻擊來源是從一些物連網裝置，所以 Shodan 這個服務的最大價值就是搜尋這些物連網裝置的詳細資訊，也有可能被拿來做物連網裝置的安全漏洞掃描

論文到程式碼

論文的標題是 – Language Models are Unsupervised Multitask Learners

• https://github.com/openai/gpt-2

GPT-2是基於 transformer-based 語言模型，具有15億個參數，並在資料集上進行了訓練，GPT-2的訓練目標很簡單：根據文字中的所有先前單字，預測下一個單詞

對於 GPT-2 有興趣可以參考這篇 blog

程式設計語言

Javascript 錯誤處理

• https://github.com/connor4312/cockatiel

Cockatiel 是一個彈性和暫態故障處理程式庫，它允許開發人員表達諸如 Retry、 Circuit Breaker、 Timeout、 Bulkhead Isolation 和 Fallback 等策略。 . Net 有 Polly，這是一個很好的一站式服務，可以滿足你所有的錯誤處理需求，這位開發者希望 JavaScript 專案也能擁有這樣一個程式庫，並且厭倦了專案之間的複製貼上重試邏輯。 因此有了這個模組！

使用 Go 實現的 Cache

• https://github.com/allegro/bigcache

具有快速，concurrent，退出記憶體寫入，可讓程式在記憶體中保留大量資料，而不會影響性能。資料大小可到 gigabyte

---

資料科學

機器學習程式庫

• https://github.com/rapidsai/cuml

cuML 是一組實現機器學習演算法和數學原語函式的程式庫，它們與其他 RAPIDS 專案共享相容的 API 。

cuML 使得資料科學家、研究人員和軟體工程師可以在 GPU 上執行傳統的表格式機器學習任務，而無需進入 CUDA 程式設計的細節。 在大多數情況下，cuML 的 Python API 與 scikit-learn 中的 API 匹配。

對於大型資料集，這些基於 GPU 實現的速度比一般 CPU 快10-50倍。

---

一個用於建構實用營運等級的深度學習系統，並將其部署到實際應用程式中的指南

• https://github.com/alirezadir/Production-Level-Deep-Learning

在營運環境中部署深度學習模型可能是一個挑戰，因為它遠遠超出了具有良好效能的培訓模型。 為了部署營運等級深度學習系統，需要設計和開發幾個不同的元件

營運等級深度學習系統中不同元件的高階概覽

---

使用 Python 從零開始實現機器學習

• https://github.com/eriklindernoren/ML-From-Scratch

機器學習模型和演算法的實現，主要關注可訪問性( accessibility ) ，目標在涵蓋從線性迴歸到深度學習的所有內容

這個專案的目的不是產生儘可能最佳化和運算效率高的演算法，而是以一種透明和可訪問的方式呈現它們的內部工作。

工具

針對 Go 專案設計的 binary 建構和管理工具

• https://github.com/Clivern/Rabbit

Rabbit 是一個輕量級的服務，將建立和儲存你的 go 專案 binary 檔案，與 Github，Gitlab，Bitbucket 和 Bitbucket 伺服器整合

這個系統小編以前有使用 Jenkins 實作過一次，其實這個架構可以用來做各種編譯式程式語言專案，但是近年來比較強調 DevOps ，Web 應用程式的佈署比以往單一應用程式的發布複雜許多

---

在 VS Code 中執行各種程式語言

• https://github.com/formulahendry/vscode-code-runner

透過這個 VS Code 的外掛，可以馬上看到輸入的程式語言執行結果，支援  C, C++, Java, JavaScript, PHP, Python, Perl, Perl 6, Ruby, Go, Lua, Groovy, PowerShell, BAT/CMD, BASH/SH, F# Script, F# (.NET Core), C# Script, C# (.NET Core), VBScript, TypeScript, CoffeeScript, Scala, Swift, Julia, Crystal, OCaml Script, R, AppleScript, Elixir, Visual Basic .NET, Clojure, Haxe, Objective-C, Rust, Racket, Scheme, AutoHotkey, AutoIt, Kotlin, Dart, Free Pascal, Haskell, Nim, D, Lisp, Kit, V

---

下載管理器

• https://github.com/agalwood/Motrix

支援 Mac/Windows/Linux 的跨平台桌面應用程式( 使用 Electron 開發 ) ，支援  HTTP, FTP, BitTorrent, Magnet, Baidu Net Disk 等下載服務

---

使用 Go 語言開發，一個基於終端機的圖形化活動監視器

• https://github.com/cjbassi/gotop

---

使用 Markdown 寫 e-mail

• https://github.com/adam-p/markdown-here

支援 Google Chrome, Firefox, 和 Thunderbird 外掛，讓你可以使用 Markdown 語法寫 e-mail 並預覽結果然後送出去