[Soft & Share 會員服務] 開源報報 264 – 透過縮短器服務暴露的URL進行搜尋的偵察工具

工具

一個允許對透過縮短器服務暴露的URL進行搜尋的偵察工具

• https://github.com/utkusen/urlhunter

urlhunter是一個偵察工具，它允許對透過縮短器服務（如bit.ly和goo.gl）暴露的URL進行搜尋。該專案是用Go編寫的。

原理

一個名為 URLTeam 的小組（為他們點贊）每天都在粗暴地強迫 URL 縮短器服務，並發布匹配的結果。 urlhunter 下載他們的集合，讓你分析它們。

URLTeam 介紹

TinyURL、bit.ly和其他類似的服務允許在其特定的服務上將長網址轉換為小網址；消費者訪問縮短網址，其網路瀏覽器會被重定向到長網址。

這類服務是一顆定時炸彈。如果它們消失了，被駭客攻擊了，或者賣掉了，數以百萬計的連結就會消失（見維基百科： Wikipedia: Link Rot）。Archive.org/301Works 是作為URL縮短器資料庫的代管機構，但他們依靠URL縮短器真正給他們提供資料庫。即使是301Works的創始成員 bit.ly 也沒有真正分享他們的資料庫，其他大多數大型縮短器也沒有分享他們的資料庫。

Burpsuite擴充套件可繞過403限制目錄

• https://github.com/sting8k/BurpSuite_403Bypasser

一個繞過403限制目錄的burpsuite擴充套件。透過使用PassiveScan(預設啟用)，每個 403 請求都會被這個擴充套件自動掃描，所以只要新增到 burpsuite 就可以享受了。

這是一個會通過沃爾瑪購買PS5的機器人。它是用 python 編寫的，使用selenium與網頁互動。

• https://github.com/dkkocab/WebSiteBot_PS5

這是一個會透過沃爾瑪購買PS5的機器人。它是用python編寫的，使用selenium與網頁互動。這是一個非常簡單的程式，使用遞迴來防止程式碼執行速度超過網頁而崩潰。不過不能保證每次都能成功。如果網站崩潰了，程式碼就會停止。目前只有沃爾瑪的PS5光碟版的機器人。

這位開發者未來還會加上購買 PS5 以外的產品，例如 xbox

Web 應用程式開發

為React提供漂亮的資料驅動動畫。

• https://github.com/sghall/react-move

這邊可以看到動畫的 Demo https://react-move-docs.netlify.app/#/

即時線上直播微服務

• https://github.com/nelsonwenner/stream-live-system

本專案是一個簡單的直播系統，整個專案是基於微服務的。警告，本專案是一個範例，可以作為建構更復雜的直播系統的基礎。

架構

資料科學

TransmogrifAI 是一個AutoML 程式庫，用於在Apache Spark上以最少的手工調整來建構模組化的、可重用的、強型別的機器學習工作流程。

• https://github.com/salesforce/TransmogrifAI

TransmogrifAI（發音為trăns-mŏgˈrə-fī）是一個用Scala編寫的AutoML程式庫，它執行在Apache Spark之上。它的開發重點是透過機器學習自動化和一個強制執行編譯時型別安全、模組化和重用的API來加速機器學習開發者的生產力。透過自動化，它實現了接近手工調整模型的精度，時間縮短了近100倍。

如果你需要一個機器學習程式庫，請使用TransmogrifAI。

• 在數小時內（而不是數月）建構營運就緒的機器學習應用程式。
• 無需獲得機器學習博士學位就能建構機器學習模型。
• 建構模組化、可重用、強型別化的機器學習工作流程。

量化金融中股票自動交易的深度強化學習程式庫

• https://github.com/AI4Finance-LLC/FinRL-Library

深度強化學習(DRL)已被公認為是量化金融領域的有效方法，對於初學者來說，獲得實際操作經驗是非常有吸引力的。然而，要訓練一個實用的DRL交易代理，決定在哪裡交易、以什麼價格交易和以什麼數量交易，涉及到容易出錯和艱鉅的開發和除錯。

我們介紹了一個 DRL 程式庫FinRL，方便初學者接觸量化金融，開發自己的股票交易策略。在FinRL程式庫中，使用者可以透過容易複製的教程來簡化自己的開發，並與現有的方案進行比較。在FinRL中，用股票市場資料集配置虛擬環境，用神經網路訓練交易代理，並透過交易表現進行大量的回測分析。此外，它還納入了重要的交易約束條件，如交易成本、市場流動性和投資者的風險規避程度。

FinRL的特點是完整性、實戰教程和可重複性，有利於初學者。

• (i)在多層次的時間粒度上，FinRL模擬了各種股票市場的交易環境，包括納斯達克100、道瓊斯指數、標準普爾500、恆指、上證50和滬深300等；
• (ii)FinRL以模組化的分層架構組織，提供了經過微調的最先進的DRL演算法(DQN、DDPG、PPO、SAC、A2C、TD3等。
• (ii)FinRL提供了最先進的DRL演算法(DQN、DDPG、PPO、SAC、A2C、TD3等)、常用的獎勵函式和標準的評估基線，以減輕除錯工作量，提高可重複性；
• (iii)FinRL具有高度的可擴充性，預留了一套完整的使用者匯入介面。

此外，我們還加入了單隻股票交易、多隻股票交易和投資組合配置三個應用示範。

雲端和網路管理

可組合的一體化郵件伺服器。

• https://github.com/foxcpp/maddy

Maddy郵件伺服器實現了執行電子郵件伺服器所需的所有功能。它可以透過SMTP傳送郵件（工作原理為MTA），透過SMTP接受郵件（工作原理為MX），並儲存郵件，同時透過IMAP提供對它們的訪問。除此之外，它還實現了一些輔助協議，這些協議是保證電子郵件合理安全所必須的（DKIM、SPF、DMARC、DANE、MTA-STS）。

它用一個守護程式( daemon ) 取代了Postfix、Dovecot、OpenDKIM、OpenSPF、OpenDMARC等，配置統一，維護成本最低。

程式設計語言/程式庫

我對 Nim 的武器化實驗

• https://github.com/byt3bl33d3r/OffensiveNim

Nim是一門靜態型別的編譯系統程式語言，它結合了Python、Ada和Modula等成熟語言的成功理念。

為何使用 Nim？

• 直接編譯成C、C++、Objective-C和Javascript。
• 由於它不依賴於虛擬機器/ runtime，不會產生我喜歡稱之為 “T H I C C malwarez “的其他語言（如Golang）。
• 受 Python 啟發的語法，允許快速建立原生有效載荷和原型。
• 具有極其成熟的FFI（ Foreign 函式介面）功能。
• 避免了讓你實際用C/C++編寫，繼而避免在你的軟體中引入大量的安全問題。
• 超容易從 Nix/MacOS 交叉編譯到 Windows，只需要安裝 mingw 工具鏈並向nim 編譯器傳遞一個標誌。
• Nim編譯器和生成的可執行檔案支援所有主要平台，如Windows、Linux、BSD和macOS。甚至可以編譯到任天堂switch ，iOS和Android。參見Nim編譯器使用指南中的交叉編譯部分。
• 從技術上講，你可以用Nim編寫你的植入( implant )和c2後端，因為你可以直接將你的程式碼編譯成Javascript。甚至已經初步支援WebAssembly

用Go編寫的乏味任務資料流處理器

• https://github.com/Jeffail/benthos

Benthos是一個高效能和彈性的資料流( stream )處理器，能夠以一系列的代理人模式連線各種 sources 和sinks，並對有效載荷進行hydration, enrichments, transformations and filters。

它自帶強大的對映語言，易於部署和監控，並準備以靜態二進位制、docker映象或無伺服器函式的形式投放到你的管道中，使其成為雲端原生的赫赫有名的產品。

Benthos是完全宣告式的，在一個配置檔案中定義了資料流管道，允許你指定聯結器和處理階段的列表。