Lab隨記

文章轉自微信公眾號:阿旭演算法與機器學習 文章原始連結:https://mp.weixin.qq.com/s/OJ1_S0b39VIr7_4kfn5Yaw 引言 CUDA（Compute Unified Device Architecture） 是NVIDIA專有的平行運算平台和程式設計模型。使用CUDA SDK，開發人員可以利用他們的NVIDIA GPU（圖形處理單元），從而使他們能夠在通常的程式設計工作流程中引入基於GPU的平行處理能力，而不是通常的基於CPU的順序處理能力。 隨著近年來深度學習的興起，可以看到模型訓練中涉及的各種運算，如矩陣乘法，求逆等，可以在很大程度上並行化，以獲得更好的學習表現和更快的訓練週期。因此，許多像Pytorch這樣的深度學習函式庫使用戶能夠使用一組介面和實用程式函數來利用GPU。本文將介紹在任何包含支援CUDA的GPU的系統中設定CUDA環境，並簡要介紹使用Python的Pytorch庫中提供的各種CUDA操作。 查看GPU支援的CUDA版本 在cmd控制台輸入 navidia-smi 查看GPU支援的最高CUDA版本： 如上圖所示，最高支援的CUDA版本為12.5，版本可以向下相容。因此安裝的CUDA版本必須小於或等於12.5版本。 安裝GPU版Pytorch 首先，透過官方Nvidia CUDA相容性清單檢查其係統的GPU，以確保其GPU是否啟用CUDA。 Pytorch透過提供一個很好的使用者友善介面，讓您選擇作業系統和其他要求，讓CUDA安裝過程非常簡單，如下圖所示。根據我們的計算機，我們將根據下圖中給出的規格進行安裝。 參考Pytorch的官方連結：https://pytorch.org/get-started/locally/，根據他們的電腦規格選擇規格。我們還建議在安裝後完全重新啟動系統，以確保工具包的正常運作。 Pytorch安裝頁面截圖 ❝ pip3 install torch==1.9.0+cu102 torchvision==0.10.0+cu102 torchaudio=0.9.0 -f https://download.pytorch.org/whl/torch_stable.html 在Pytorch中開始使用CUDA 安裝後，我們可以使用 torch.cuda 介面使用Pytorch與CUDA互動。我...

文章轉自微信公眾號:機器學習與人工智慧AI  文章原始連結: https://mp.weixin.qq.com/s/Pi0-7rNLMSHhc7jmNH217g 今天帶給大家的是十大屬於處理技巧，牽涉到的有： 缺失值處理（Handling Missing Values） 數據標準化（Data Normalization） 資料歸一化（Data Scaling） 類別編碼（Categorical Encoding） 資料降維（Dimensionality Reduction） 資料去重（Removing Duplicates） 資料分箱（Data Binning） 特徵選擇（Feature Selection） 資料變換（Data Transformation） 資料平衡處理（Handling Imbalanced Data） 具體原理和使用方式，下面跟大家一起聊聊~ 1. 缺失值處理（Handling Missing Values） 介紹 在現實資料集中，缺失值的存在是普遍現象。直接包含缺失值的資料會使機器學習模型無法有效訓練，因此常見的缺失值處理方法包括刪除缺失值、平均值插補、中位數插補、眾數插補以及基於迴歸模型的插補等。 核心點 刪除法 ：直接去掉含有缺失值的行或列。 插補法 ：使用平均數、中位數、眾數或迴歸模型來填補缺失值。 原理 假設我們有一個特徵  ，其中存在一些缺失值。最簡單的插補方式是用平均值來取代缺失值。假設缺失值為  ，則平均值插補的公式為： （ 用 非 缺 失 数 据 的 均 值 填 补 缺 失 值 ） 可以類似地用中位數或眾數來插補。 核心公式 均值插補： （ 均 值 插 补 公 式 ） 程式碼範例 import  numpy  as  np import  pandas  as  pd import  matplotlib.pyplot  as  plt from  sklearn.impute  import  SimpleImputer # 创建虚拟数据集 np.random.seed( 0 ) data = { 'A' : [ 1 ,  2 ...