โดย Naweeparb Wangwanich — Safem0de

Activation Function ใช้เปลี่ยนค่าผลรวมของนิวรอนให้เป็นค่าที่มีความหมายก่อนส่งไปยังชั้นถัดไป เพื่อให้โมเดลสามารถเรียนรู้ความซับซ้อนของข้อมูลได้ดีขึ้น

ประเภทของ Activation Function

1. Sigmoid (ใช้ใน Binary Classification)

   • กระบวนการของ Sigmoid
   • โค้ดสำหรับการ Plot Sigmoid

   

   สมการ :

   $$ \begin{equation} f(x) = \frac{1}{1 + e^{-x}} \end{equation} $$

   Dense(1, activation='sigmoid')  # ใช้ใน Output Layer ของ Binary Classification
   

2. ReLU (Rectified Linear Unit)

   • กระบวนการของ ReLU
   • โค้ดสำหรับการ Plot ReLU

   

   สมการ :

   $$ \begin{equation}f(x) = \max(0, x)\end{equation} $$

   Dense(64, activation='relu')  # ใช้ใน Hidden Layer
   

3. Leaky ReLU (แก้ปัญหา ReLU ตาย)

   • กระบวนการของ Leaky ReLU
   • โค้ดสำหรับการ Plot Leaky ReLU

   สมการ :

   $$ \begin{equation} f(x) = \begin{cases} x, & x > 0 \\ \alpha x, & x \leq 0 \end{cases} \end{equation} $$

   from keras.layers import LeakyReLU
   Dense(64, activation=LeakyReLU(alpha=0.01))  # ให้ค่าลบยังคงอยู่
   

4. Tanh (Hyperbolic Tangent)

   • กระบวนการของ Tanh
   • โค้ดสำหรับการ Plot Tanh

   สมการ :

   $$ \begin{equation} f(x)=\frac{e^x - e^{-x}}{e^x + e^{-x}} \end{equation} $$

   Dense(64, activation='tanh')
   

5. Softmax (ใช้ใน Multi-class Classification)

   ![รูปที่1 แสดงกระบวนการของ Softmax Activation Function ซึ่งใช้ใน Output Layer ของโมเดลที่ทำงานกับ Multi-class Classification

   credit : https://towardsdatascience.com/softmax-activation-function-explained-a7e1bc3ad60/](attachment:106464ae-caad-45bb-b827-8a3edb0c5603:image.png)

   รูปที่1 แสดงกระบวนการของ Softmax Activation Function ซึ่งใช้ใน Output Layer ของโมเดลที่ทำงานกับ Multi-class Classification

   credit : https://towardsdatascience.com/softmax-activation-function-explained-a7e1bc3ad60/

   • กระบวนการของ Softmax
   • โค้ดสำหรับการ Plot Softmax

   สมการ :

   $$ \begin{equation} f(x_i) = \frac{e^{x_i}}{\sum_{j} e^{x_j}}

   \end{equation} $$

   Dense(10, activation='softmax')  # ใช้ใน Output Layer ของ Multi-class
   

ตารางเปรียบเทียบ Activation Functions

• คำนวณช้ากว่า Sigmoid |

สรุปการเลือก Activation Function

• Input Layer → ไม่มี Activation Function
• Hidden Layers → ใช้ ReLU หรือ Leaky ReLU
• Output Layer
  • Regression → ใช้ Linear
  • Binary Classification → ใช้ Sigmoid
  • Multi-class Classification → ใช้ Softmax

reference :

https://www.geeksforgeeks.org/what-are-logits-what-is-the-difference-between-softmax-and-softmax-cross-entropy-with-logits/

https://wandb.ai/amanarora/Written-Reports/reports/Understanding-Logits-Sigmoid-Softmax-and-Cross-Entropy-Loss-in-Deep-Learning--Vmlldzo0NDMzNTU3