fbpx

Soft & Share 開源報報 006 – 一個用於建構實用營運等級的深度學習系統,並將其部署到實際應用程式中的指南

這是 Soft & Share 為訂閱會員所推出的服務,小編週一到週五會每天整理一篇開源專案的摘要說明整理 (早上 8 點前會發佈在 Soft & Share 網站 ) ,讓你可以利用上班前快速掌握目前開源專案的焦點。( 之前出版的開源報報 )

為什麼需要 Soft & Share 開源報報?

每天快速瀏覽開源報報具備有什麼效益?

  1. 增加自己的學習動力,提升自己的視野
  2. 從開源專案中獲得 side project 靈感與想法
  3. 利用開源專案提升自己的生產力

每天使用 NT8.3 元,你可以使用 Soft & Share 開源報報省下掌握每天開源資訊焦點的時間,這是一個很划算的時間槓桿投資

訂閱網址

今日內容摘要

✅ 針對軟體工程師所準備的視訊技術的實踐介紹: 影像、視訊、編解碼器(av1、 vp9、 h265)和更多(ffmpeg 編碼)
✅ iOS App 逆向工程 – 找出安全漏洞
✅ Tensorflow 2.0 探索
✅ 為串流資料處理應用程式所設計的事件串流資料庫
✅ 一個開發環境容器 – 後端使用 golang ,資料庫使用 postgres,web server使用 nginx,前端使用 React
✅ 使用 Python 架設一個簡單的 Web 伺服器和靜態網頁產生器
✅ CORS 檢查器
✅ 一個專門找網路裝置的線上服務
✅ Javascript 錯誤處理
✅ 使用 Go 實現的 Cache
✅ 機器學習程式庫
✅ 一個用於建構實用營運等級的深度學習系統,並將其部署到實際應用程式中的指南
✅ 使用 Python 從零開始實現機器學習
✅ 針對 Go 專案設計的 binary 建構和管理工具
✅ 在 VS Code 中執行各種程式語言
✅ 下載管理器
✅ 使用 Go 語言開發,一個基於終端機的圖形化活動監視器
✅ 使用 Markdown 寫 e-mail

開源報報內容

學習資源

針對軟體工程師所準備的視訊技術的實踐介紹: 影像、視訊、編解碼器(av1、 vp9、 h265)和更多(ffmpeg 編碼)

這個 github 專案不僅僅是一份學習指南文件,每一個章節都還包含一些動手做練習,這些練習是放在一個 docker 容器裡面,所以你在電腦中必須先安裝好 docker 然後再按照作者指示設定好練習的環境


iOS App 逆向工程 – 找出安全漏洞

有些公司會提供獎勵給那些發現 App 安全漏洞的工程師,這個專案的目的就是讓你學習如何透過逆向工程來發現 App 的安全漏洞

這個學習指南也是一本電子書,每一個章節都有實際的練習


Tensorflow 2.0 探索

Tensorflow 2.0 新增了許多功能,這個 git 專案作者建議除了看官方的指南,他收集了一些強烈推薦的非官方教學指南

Web 應用程式開發

為串流資料處理應用程式所設計的事件串流資料庫

要了解這個資料庫的用途之前最好先了解一下 Kafka ,這篇小編找到了對 Kafka 有比較簡單的解釋 https://www.zhihu.com/question/53331259

可以把 Kafka 想像成一個網路應用程式後端的 message queue ,透過 message queue 來決定那些訊息由哪些服務來處理,所以也就有了 pub/sub 這樣的機制

ksqlDB 是 Apache Kafka 的事件串流資料庫。 它是分散式的、可擴展的、可靠的和及時的。 通過熟悉的輕量級 SQL 語法,ksqlDB 結合了即時串流處理的強大功能和關聯資料庫的親切感。

所以可以利用 ksqlDB 跟 Apache Kafka 做整合,如果你要開發一個可以搭配 Apache Kafka 架構的後端服務


一個開發環境容器 – 後端使用 golang ,資料庫使用 postgres,web server使用 nginx,前端使用 React

使用 Python 架設一個簡單的 Web 伺服器和靜態網頁產生器

這個 github 包含一個範例網站的原始碼,該網站包含兩個靜態部落格和一些靜態頁面。 該網站可以通過執行 makesite.py 生成。

這個專案蠻適合用來練習前端網頁開發


CORS 檢查器

什麼是 CORS ?可以參考這篇說明,這個工具使用 Python 開發,只要輸入網址就可以幫你檢查 CORS 的設定是否正確

python corsy.py -u https://example.com

雲端和網路管理

一個專門找網路裝置的線上服務

Shodan 是一個用於連線網際網路裝置的搜尋引擎。 Google 讓你搜尋網站,Shodan 讓你搜索裝置。 這個程式庫為開發人員提供了方便的途徑來訪問儲存在 Shodan 的所有資料,以便使任務自動化並整合到現有的工具中。

現在一些網路攻擊來源是從一些物連網裝置,所以 Shodan 這個服務的最大價值就是搜尋這些物連網裝置的詳細資訊,也有可能被拿來做物連網裝置的安全漏洞掃描

論文到程式碼

論文的標題是 – Language Models are Unsupervised Multitask Learners

GPT-2是基於 transformer-based 語言模型,具有15億個參數,並在資料集上進行了訓練,GPT-2的訓練目標很簡單:根據文字中的所有先前單字,預測下一個單詞

對於 GPT-2 有興趣可以參考這篇 blog

程式設計語言

Javascript 錯誤處理

Cockatiel 是一個彈性和暫態故障處理程式庫,它允許開發人員表達諸如 Retry、 Circuit Breaker、 Timeout、 Bulkhead Isolation 和 Fallback 等策略。 . Net 有 Polly,這是一個很好的一站式服務,可以滿足你所有的錯誤處理需求,這位開發者希望 JavaScript 專案也能擁有這樣一個程式庫,並且厭倦了專案之間的複製貼上重試邏輯。 因此有了這個模組!

使用 Go 實現的 Cache

具有快速,concurrent,退出記憶體寫入,可讓程式在記憶體中保留大量資料,而不會影響性能。資料大小可到 gigabyte


資料科學

機器學習程式庫

cuML 是一組實現機器學習演算法和數學原語函式的程式庫,它們與其他 RAPIDS 專案共享相容的 API 。

cuML 使得資料科學家、研究人員和軟體工程師可以在 GPU 上執行傳統的表格式機器學習任務,而無需進入 CUDA 程式設計的細節。 在大多數情況下,cuML 的 Python API 與 scikit-learn 中的 API 匹配。

對於大型資料集,這些基於 GPU 實現的速度比一般 CPU 快10-50倍。


一個用於建構實用營運等級的深度學習系統,並將其部署到實際應用程式中的指南

在營運環境中部署深度學習模型可能是一個挑戰,因為它遠遠超出了具有良好效能的培訓模型。 為了部署營運等級深度學習系統,需要設計和開發幾個不同的元件

營運等級深度學習系統中不同元件的高階概覽


使用 Python 從零開始實現機器學習

機器學習模型和演算法的實現,主要關注可訪問性( accessibility ) ,目標在涵蓋從線性迴歸到深度學習的所有內容

這個專案的目的不是產生儘可能最佳化和運算效率高的演算法,而是以一種透明和可訪問的方式呈現它們的內部工作。

工具

針對 Go 專案設計的 binary 建構和管理工具

Rabbit 是一個輕量級的服務,將建立和儲存你的 go 專案 binary 檔案,與 Github,Gitlab,Bitbucket 和 Bitbucket 伺服器整合

這個系統小編以前有使用 Jenkins 實作過一次,其實這個架構可以用來做各種編譯式程式語言專案,但是近年來比較強調 DevOps ,Web 應用程式的佈署比以往單一應用程式的發布複雜許多


在 VS Code 中執行各種程式語言

透過這個 VS Code 的外掛,可以馬上看到輸入的程式語言執行結果,支援  C, C++, Java, JavaScript, PHP, Python, Perl, Perl 6, Ruby, Go, Lua, Groovy, PowerShell, BAT/CMD, BASH/SH, F# Script, F# (.NET Core), C# Script, C# (.NET Core), VBScript, TypeScript, CoffeeScript, Scala, Swift, Julia, Crystal, OCaml Script, R, AppleScript, Elixir, Visual Basic .NET, Clojure, Haxe, Objective-C, Rust, Racket, Scheme, AutoHotkey, AutoIt, Kotlin, Dart, Free Pascal, Haskell, Nim, D, Lisp, Kit, V


下載管理器

支援 Mac/Windows/Linux 的跨平台桌面應用程式( 使用 Electron 開發 ) ,支援  HTTP, FTP, BitTorrent, Magnet, Baidu Net Disk 等下載服務


使用 Go 語言開發,一個基於終端機的圖形化活動監視器


使用 Markdown 寫 e-mail

支援 Google Chrome, Firefox, 和 Thunderbird 外掛,讓你可以使用 Markdown 語法寫 e-mail 並預覽結果然後送出去

訂閱網址

喜歡今天小編整理的開源報報嗎?歡迎給小編意見與回饋

One thought on “Soft & Share 開源報報 006 – 一個用於建構實用營運等級的深度學習系統,並將其部署到實際應用程式中的指南

Add yours

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料

Powered by WordPress.com.

Up ↑

%d 位部落客按了讚: