Lab隨記

 Abstract Rechargeable nickel-ion batteries (RNiBs) have attracted significant attention because of their high volumetric density, low cost, environmental friendliness, and easy recyclability. In this study, a rechargeable nickel-iodine battery using a rational design of a deep eutectic solvent (DES) electrolyte based on a conversion reaction mechanism is first demonstrated. The rechargeable Ni-I2 battery with the DES electrolyte delivered a specific capacity of 201 mAh g−1 with a coulombic efficiency of 82.5% over 65 cycles at a current density of 0.3 A g−1. The energy storage mechanism can be attributed to I+/I− redox chemistry, which has been validated by ex situ Raman, X-ray photoelectron spectroscopy (XPS) and X-ray absorption spectroscopy (XAS). The study provides an avenue for exploring rechargeable nickel-ion batteries with DES electrolytes based on the conversion reaction mechanism.   https://doi.org/10.1002/smll.202412549

 隨著深度學習模型的發展，越來越多的開發者透過 GitHub 與 Hugging Face 分享模型權重，以便其他人可以下載並加以應用。但不同的深度學習框架有各自的儲存格式與資料夾結構，因此了解這些規範能幫助我們更快速找到所需的模型。 1. 常見的深度學習權重檔案格式 不同的深度學習框架使用不同的檔案格式來儲存模型的權重，以下是最常見的副檔名： 副檔名 用途 對應框架 .bin PyTorch 模型權重 (Hugging Face) PyTorch .pth  /  .pt PyTorch 權重 (state_dict 或完整模型 ) PyTorch .safetensors 更安全的 PyTorch 權重存儲格式 PyTorch, Hugging Face .pb TensorFlow Frozen Graph TensorFlow .ckpt TensorFlow 或 PyTorch 的 Checkpoint TensorFlow, PyTorch .h5 Keras/TensorFlow 權重 TensorFlow, Keras .tflite TensorFlow Lite 模型 TensorFlow Lite .msgpack Chainer 權重存儲格式 Chainer .npz JAX 或 NumPy 存儲格式 JAX, NumPy .onnx ONNX 格式，方便跨框架使用 ONNX 當下載 Hugging Face 或 GitHu...

  在深度學習領域，「稀疏性（Sparsity）」是一個關鍵概念，它指的是數據或模型參數中有許多值為零的特性。這種特性可以提升計算效率、減少記憶體需求，甚至提高模型的泛化能力。但這是否意味著「零越多越好」呢？其實，關鍵在於如何適當地控制稀疏性，以達到最好的平衡。本文將介紹深度學習中幾種常見的稀疏性類型，以及它們在實際應用中的影響。 1. 稀疏性類型與應用 (1) 參數稀疏性（Model Sparsity） 指的是神經網路中的權重矩陣大部分為零。這可以透過 L1 正則化（Lasso）、剪枝（Pruning） 或 低秩分解（Low-rank Factorization） 來實現。 舉例： 假設一個神經網路的權重矩陣如下： W = [ 0.5 0 0.2 0 0 0 − 0.3 0 0.8 ] W = \begin{bmatrix} 0.5 & 0 & 0.2 \\ 0 & 0 & 0 \\ -0.3 & 0 & 0.8 \end{bmatrix} 這裡有 6 個元素為 0（總共 9 個參數），稀疏度為 66.7% 。這樣的矩陣可以減少儲存需求，並透過稀疏矩陣運算提升計算速度。 (2) 激活稀疏性（Activation Sparsity） 當使用 ReLU（Rectified Linear Unit）激活函數時，負數輸入會變成 0，導致許多神經元「沉默」。 舉例： 輸入矩陣 X X ： X = [ 2 − 1 0.5 − 3 0 4 1 − 2 − 0.7 ] X = \begin{bmatrix} 2 & -1 & 0.5 \\ -3 & 0 & 4 \\ 1 & -2 & -0.7 \end{bmatrix} 經過 ReLU 激活後： ReLU ( X ) = [ 2 0 0.5 0 0 4 1 0 0 ] \text{ReLU}(X) = \begin{bmatrix} 2 & 0 & 0.5 \\ 0 & 0 & 4 \\ 1 & 0 & 0 \end{bmatrix} 這裡產生了 4 個零值（共 9 個元素），稀疏度約為 44.4% 。這有助於減少計算，但若太多神經元變為 0...