Opening, Closing, Skeletonization, and Color space

การศึกษาการทำการตัด การเชื่อม การทำภาพโครงร่าง และแผนภูมิสีใน Image processing

Objective

  1. เพื่อศึกษาการทำงานและความแตกต่างของ Opening และ Closing
  2. เพื่อศึกษาการทำงานของ Skeletonization
  3. เพื่อศึกษาการทำงานและแปลงในรูปแบบต่างๆของ Color Space
  4. เพื่อเปรียบเทียบประสิทธิภาพระหว่าง Function ที่สร้างขึ้นเองกับ Function ใน MATLAB Toolbox
  5. เพื่อศึกษาการประยุกต์ใช้ Morphological Filter ในด้านการแพทย์

Medthods

  1. Opening & Closing

    การทำ Opening กับ Closing จะอาศัยการทำ Dilation และ Erosion ที่ได้ศึกษามาในบทก่อนหน้านี้ โดยการทำ Opening จะเป็นการนำภาพมา Erosion แล้วจากนั้นก็จึง Dilation แต่การทำ Closing จะตรงกันข้าม คือ ทำการ Dilation ก่อนแล้วจากนั้นจึง Erosion

    $$ Opening : A\circ B = (A\ominus B)\oplus B \\Closing : A\bullet B = (A\oplus B)\ominus B$$

  2. Skeletonization

    ในที่นี้จะทำการ skeletonization โดยใช้ Thining operation ไปจนกระทั่งได้ออกมาเป็น skeletonization image โดยในการทำ Thining operation นี้จะอาศัยการใช้ hit and miss มาช่วย ซึ่งอธิบายโดยง่ายคือ การนำ SE มาตรวจสอบที่ทุกจุดของภาพ หากจุดที่วาง SE มีรูปร่างเหมือนกันกับ SE ก็จะให้จุดนั้นมีค่าเท่ากับ 1 แต่หากไม่ใช่ ก็จะให้มีค่าเท่ากับ 0 หรือเขียนเป็นสัญลักษณ์คือ

    $$ A\circledast B = (A\ominus X)\cap [A^C\ominus (W-X)]$$

    โดยที่ \(A\) = original image, \(B\) = SE, \(A^C\) = Complement ของ A, \(X\) = ส่วนที่เป็นวัตถุใน B
    \((W-X)\) = ส่วนฉากหลังใน B, \(A\ominus B\) = Erosion ของ A และ B

    โดยจะมีการใช้ Structuring Element (SE) ที่มีการหมุนใน 8 ทิศทางดังภาพด้านล่างมาทำการ Thining โดยที่จุดขาวเท่ากับ 0, สีดำมีค่า 1 และ x คือไม่ต้องสนใจ(don’t care)

    โดยขั้นตอนการทำคือ การนำ SE \(B^1\) มา Hit and miss ตลอดทั้งภาพ จากนั้นนำมาลบด้วยภาพต้นฉบับ หรือเป็นไปตามสัญลักษณ์ $$A\otimes B = A-(A\circledast B)$$ และเมื่อได้ภาพใหม่ออกมาก็จะนำภาพที่ได้ไปทำวิธีแบบเดียวกันและใช้ SE \(B^2\) ทำแบบนี้ไปจนถึง SE \(B^8\) และกลับไปเริ่มทำขั้นตอนแรกใหม่ คือ เริ่มใช้ SE \(B^1\) และทำไปเรื่อยๆ จนกว่าภาพที่ได้จะมีลักษณะเป็น Skeletonization เราเรียกการทำแบบนี้ว่า iteration

  3. HSV

    การแปลงค่าสีจากระบบสีแบบ RGB เป็น ระบบสีแบบ HSV RGB จะอธิบายค่าของสีมาในรูปแบบ term ของค่าปริมาณสีแดง, สีเขียว, สีน้ำเงิน HSV จะอธิบายค่าของสีมาในรูปแบบ term ของ Hue, Saturation และ Value สำหรับรูปแบบอธิบายสี HSV จะมีความสำคัญเมื่อต้องการการระบุสีด้วยคำอธิบาย เช่น เป็นสีที่สว่างมากกว่า เป็นสีที่เข้มมากกว่า เป็นต้น ซึ่งเป็นที่ต้องการมากกว่าแบบ RGB ในงานอุตสาหกรรมที่ต้องการใช้ Image Processing เพื่อการเลียนแบบประสาทสัมผัสของมนุษย์ เนื่องจาก แบบ HSV จะมีรูปแบบการอธิบายสีคล้ายๆ กับวิธีการรับภาพของดวงตาของมนุษย์ สี RGB จะกำหนดค่าของสีในแง่ของการรวมกันของ 3 สีหลักตามรูปแบบของแสง สี HSV จะกำหนดค่าของสีในแง่ของการอธิบายเปรียบเทียบกับสิ่งที่คุ้นเคย เช่น สี, ความสว่าง, ความเข้ม

    การแปลงค่าโดยจะมีกระบวนการเพื่อหาค่า H S และ V แปลงจาก RGB ที่อยู่ในช่วง [0,255] ดังสมการดังนี้ [1]

    $$ S_{HSV}=\left\{ \begin{array}{l l} \frac{C_{rng}}{C_{high}} & \quad \text{for \(C_{high}>0\)}\\ 0 & \quad \text{otherwise} \end{array} \right. $$

    $$ V_{HSV}= \frac{C_{high}}{C_{max}} \\ C_{high}=max(R,G,B) \\ C_{low}=min(R,G,B) \\ C_{rng}=C_{high}-C_{low} $$

    ส่วนการหาค่า H จะต้องทำการ normalize เพื่อหาค่าออกมา

    $$ {R}'=\frac{ C_{high}-R}{ C_{rng}}, {G}'=\frac{ C_{high}-G}{ C_{rng}}, {B}'=\frac{ C_{high}-B}{ C_{rng}} $$

    $$ {H}'= \left\{ \begin{array}{2 2} ({B}'-{G}') & \quad \text{\(R=C_high\)}\\ ({H}'-{H}'+2) & \quad \text{\(G=C_{high}\)}\\ ({H}'-{H}'+4) & \quad \text{\(B=C_{high}\)} \end{array} \right. $$

    \

    $$ H_{HSV}=\frac{1}{6}\cdot \left\{ \begin{array}{l l} ({H}'+6) & \quad \text{for \(H' < 0\)}\\ {H}' & \quad \text{otherwise} \end{array} \right. $$

  4. YCbCr

    YCbCr เป็น color space ใช้เป็นส่วนหนึ่งของ color image pipeline ในระบบ video และ ภาพ digital YCbCr ไม่ได้เป็น absolute color space แต่เป็นทางหนึ่งในการ encoding ข้อมูลของ RGB โดยการส่งข้อมูลจะแยกกันระหว่างการส่ง luma signal และ chrominance signal โดยค่า Y เป็น luma component ซึ่งแสดงความสว่างในภาพ(black and white) ส่วนค่า Cb และ Cr แสดงค่าของสีน้ำเงินที่ถูกตัดความสว่างออกไป และค่าของสีแดงที่ถูกตัดความสว่างออกไปของการแสดงสีใน video signal ซึ่ง 2 ค่านี้เป็น chrominance signal สมการที่ใช้ convert จาก analog RGB data เป็น digital YCbCr (8 bits ต่อ sample) โดยใช้มาตรฐาน ITU-R BT.601

    $$\begin{split}Y' &= 16 + (65.481 R' + 128.553 G' + 24.966 B') \\ C_B &= 128 + (-37.797 R' - 74.203 G' + 112.0 B')\\ C_R &= 128 + (112.0 R' - 93.786 G' - 18.214 B') \end{split}$$

    โดยมีขั้นตอนการทำคือ นำค่าชนิด double ของ R G และ B ของภาพมาทำการคำนวณตามสูตรด้านบน โดยจะต้องทำการหารค่าที่ได้มาด้วย 255 ก่อนการบวก 16 และ 128 ตามลำดับ จากนั้นก่อนการแสดงภาพต้องแปลงค่าของ Y Cb และ Cr ให้เป็น unsigned 8-bit integer

Results

  1. Opening & Closing

    Video 1 : แสดงผลการประมวลผลภาพจาก AVI file แสดงผลการทำ Opening และ Closing

    Video 2 : แสดงผลการประมวลผลภาพจาก Webcam ของการทำ Opening และ Closing

  2. Skeletonization

    Video 3 : แสดงผลการประมวลผลภาพจาก AVI file แต่ละ iteration ของการ skeletonization

    Video 4 : แสดงผลการประมวลผลภาพจาก AVI file ของการทำ skeletonization

    Video 5 : แสดงผลการประมวลผลภาพจาก Webcam ของการทำ skeletonization

  3. HSV

    ภาพต้นฉบับ JPEG (ซ้าย) ผลลัพท์จากการแปลง RGB เป็น HSV (กลาง) เปรียบเทียบกับ ผลลัพท์จาก MATLAB (ขวา)
    ภาพต้นฉบับ LSM (ซ้าย) ผลลัพท์จากการแปลง RGB เป็น HSV (กลาง) เปรียบเทียบกับ ผลลัพท์จาก MATLAB (ขวา)

  4. YCbCr

    ภาพผลลัพท์จากการแปลง RGB เป็น YCbCr ของรูป LSM (ซ้าย) เปรียบเทียบกับ ผลลัพท์จาก MATLAB (ขวา)
    ภาพผลลัพท์จากการแปลง RGB เป็น YCbCr ของรูป JPEG (ซ้าย) เปรียบเทียบกับ ผลลัพท์จาก MATLAB (ขวา)

Conclusion

ภาพทีไ่ด้จากการทำ Opening operation จะได้ภาพที่ถูกทำให้แยกออกจากกัน หากว่าภาพที่ใช้ มีวัตถุสองอันที่เชื่อมต่อกันอยู่ การทำ Operation นี้จะช่วยแยกวัตถุสองชิ้นออกจากกันได้ ส่วนภาพที่ได้จากการทำ Closing operation นั้นจะตรงกันข้ามกับ Opening คือ ภาพที่ได้จะถูกทำให้เชื่อมต่อกัน เช่น หากมีภาพที่วัตถุสองชิ้นแยกจากกันอยู่ หากทำ Closing operation จะทำให้วัตถุสองชิ้นนั้นเชื่อมต่อกัน และสามารถนำไปประยุกต์ใช้ในงานต่างๆได้

การทำ Skeletonization ที่ได้ เกิดจากการทำ Thining operation ไปจนได้ภาพที่ต้องการ โดยได้นำ function ที่ใช้ เปรียบเทียบกับ function ของ MATLAB ก็มีความเหมือนกัน

การทำ HSV จะอธิบายค่าของสีมาในรูปแบบ term ของ Hue, Saturation และ Value แทนที่แบบ RGB ที่จะอธิบายค่าของสีมาในรูปแบบ term ของค่าปริมาณสีแดง, สีเขียว, สีน้ำเงิน

สำหรับรูปแบบอธิบายสี HSV จะมีความสำคัญเมื่อต้องการการระบุสีด้วยคำอธิบาย เช่น เป็นสีที่สว่างมากกว่า เป็นสีที่เข้มมากกว่า เป็นต้น ซึ่งเป็นที่ต้องการมากกว่าแบบ RGB ในงานอุตสาหกรรมที่ต้องการใช้ Image Processing เพื่อการเลียนแบบประสาทสัมผัสของมนุษย์ เนื่องจาก แบบ HSV จะมีรูปแบบการอธิบายสีคล้ายๆ กับวิธีการรับภาพของดวงตาของมนุษย์ เช่น สี RGB จะกำหนดค่าของสีในแง่ของการรวมกันของ 3 สีหลักตามรูปแบบของแสง แต่สี HSV จะกำหนดค่าของสีในแง่ของการอธิบายเปรียบเทียบกับสิ่งที่คุ้นเคย เช่น สี, ความสว่าง, ความเข้ม

การทำ YCbCr ที่ได้ เกิดจากการหาสัญญาณความส่วางและสัญญาณความตางสี ซึ่งต่างกับ RGB ตรงที่ RGB จะแสดงสัญญาณสีแดง สีเขียวและสีน้ำาเงิน โดยการแปลง YCbCr นั้นมีหลายมาตรฐานด้วยกัน ซึ่งเลือกใช้ มาตรฐาน ITU-R BT.601 โดยได้นำ function ที่ใช้ เปรียบเทียบกับ function ของ MATLAB ซึ่งผลที่ได้นั้นเหมือนกัน

Discussion

ในการนำ Opening and closing operation ไปประยุกต์ใช้นั้น จะต้องคำนึงถึงด้วยว่า เราต้องการภาพใหม่ให้ได้เชื่อมต่อกันหรือแยกออกจากจึงจะสามารถเลือกใช้ operation ให้เหมาะสม และนอกจากนี้ยังต้องเลือกใช้ SE ที่มีรูปร่างและขนาดให้เหมาะสมอีกด้วย

ส่วน Function skeletonization ที่เขียนขึ้นมาเองนั้น ยังมีการประมวลผลที่ช้ามากเมื่อเปรียบเทียบกับ MATLAB function ทำให้ค่อนข้างยากที่จะนำไปใช้ในการทำภาพแบบ realtime จึงยังต้องมีการปรับปรุงโค้ดให้มีการทำงานที่รวดเร็วมากขึ้น

การแปลงค่าสีจากระบบสีแบบ RGB เป็น ระบบสีแบบ HSV สามารถแปลงได้โดยการคำนวณจากสมการทางคณิตศาสตร์ โดยการใช้ code ที่เขียนขึ้นยังมีการประมวลผลที่ค่อนข้างช้า เพราะมีการวนซ้ำในสมการที่มีขนาดใหญ่ ทำให้การประมวลผลใช้เวลานานกว่า MATLAB function

การแปลงภาพให้อยู่ในระบบ YCbCr นั้น ต้องคำนึงถึงชนิดตัวแปร มาตรฐานที่ใช้ และช่วงของค่า Y Cb Cr ด้วย เนื่องจากหากผิดพลาดในอันใดอันหนึ่งแล้ว ผลลัพท์ที่ได้จะมีความผิดเพี้ยนไป

Future Studies

การพัฒนา algorithm ให้เหมาะกับการใช้เหมาะสมกับงานด้าน biomedical โดยพัฒนาให้สามารถทำงานได้เร็วขึ้น นอกจากนี้การแปลงค่า color space ให้มีความคุ้นเคยกับการมองเห็น เช่นในห้องผ่าตัด ควรมีการใช้ image processing ในการmonitoring เวลาผ่าตัด เป็นต้น รวมทั้งนำ sketonization มาประยุกต์ใช้ในอนาคตเพื่อหาโครงสร้างของภาพและการกำจัด noise ออกจากภาพ

Q&A

Question 1:
การทำ skeletonization ของภาพทำไปเพื่อจุดประสงค์ใด
Answer:
เพื่อหาองค์ปรกอบและโครงสร้างของภาพ ซึ่งสามารถใช้บอกขอบเขตของภาพได้

Question 2:
การเปลี่ยนแปลง color space จาก RGB ไป HSV ในทางอุตสาหกรรมการผลิต เหตุผลในการเปลี่ยนแปลงค่าสีคืออะไร
Answer:
เพื่อการเลียนแบบประสาทสัมผัสของมนุษย์ เนื่องจาก HSV จะมีรูปแบบการอธิบายสีคล้ายๆ กับวิธีการรับภาพของดวงตาของมนุษย์

References

  1. [1] Gonzalez, R.C. and Woods, R.E. [2002]. Digital Image Processing, 2nd ed., Prentice Hall, Upper Saddle River, NJ.
  2. [2] Hanselman, D. and Littlefield, B.R. [2001]. Mastering MATLAB 6, Prentice Hall, Upper Saddle River, NJ.
  3. [3] Image Processing Toolbox, User Guide, Version 4. [2003], The MathWorks, Inc., Natick, MA.
  4. [4] Using MATLAB, Versoin 6.5 [2002], The MathWorks, Inc., Natick, MA.
  5. [5] “ระบบสี(Color model)” [online]. Available: http://archive.lib.cmu.ac.th/full/T/2551/enco1051tj_ch2.pdf

Source code is available on Github