Chinese (Simplified) | English | عربي
- ورقتنا البحثية عن ال (interactive segmentation) بأسم EdgeFlow تم قبولها من قبل ICCV 2021 Workshop.
- دعم الاستدلال على الرسم البياني الثابت مع سرعة تفاعل واداء عالي بالكامل ؛ إطلاق أحدث إصدار من EISeg 0.4.0 والذي يضيف حديثًا الاستشعار عن بعد ، ووضع العلامات الطبية ، وتقسيم الصور كبيرة الحجم الى اجزاء صغيره ليمكن استخدامها.
EISeg (Efficient Interactive Segmentation), تم بنائه على أساس RITM و EdgeFlow, هو برنامج تعليمي فعال وذكي للتجزئة تم تطويره على أساس PaddlePaddle. إنه يغطي عددًا كبيرًا من نماذج التجزئة عالية الجودة في اتجاهات مختلفة مثل الصور بانواعها العامة ، والصورة الشخصية ، والاستشعار عن بعد ، والعلاج الطبي ، وما إلى ذلك ، مما يوفر الراحة للتعليق التوضيحي السريع للملصقات الدلالية والمثيلات بتكلفة منخفضة. بالإضافة إلى ذلك ، من خلال تطبيق التعليقات التوضيحية التي حصل عليها EISeg على نماذج التجزئة الأخرى المقدمة من PaddleSeg للتدريب ، يمكن إنشاء نماذج عالية الأداء مع حالات مخصصة ، ودمج العملية الكاملة لمهام التجزئة من شرح البيانات إلى تدريب النموذج والاستدلال.
يرجى تنزيل معلمات النموذج قبل استخدام EIseg. يوفر EISeg 0.4.0 أربعة نماذج اتجاه مدربة على COCO + LVIS ، وبيانات صورة واسعة النطاق ، و mapping_challenge ، و LiTS (تحدي تجزئة ورم الكبد) لتلبية احتياجات وضع العلامات للسيناريوهات العامة والصورة بالإضافة إلى الهندسة المعمارية والكبد في الصور الطبية. تتوافق بنية النموذج مع وحدة اختيار الشبكة في أدوات EISeg التفاعلية ، ويحتاج المستخدمون إلى تحديد هياكل شبكة مختلفة ومعلمات التحميل وفقًا لاحتياجاتهم الخاصة.
| نوع النموذج | سيناريوهات الاستخدام | معمارية النموذج | رابط التنزيل |
|---|---|---|---|
| High Performance Model | تحديد الصور العامة | HRNet18_OCR64 | static_hrnet18_ocr64_cocolvis |
| Lightweight Model | تحديد الصور العامة | HRNet18s_OCR48 | static_hrnet18s_ocr48_cocolvis |
| High Performance Model | تحديد الصور في وضع ال portrait | HRNet18_OCR64 | static_hrnet18_ocr64_human |
| Lightweight Model | تحديد الصور في وضع ال portrait | HRNet18s_OCR48 | static_hrnet18s_ocr48_human |
| High Performance Model | تحديد الصور العامة | EdgeFlow | static_edgeflow_cocolvis |
| Lightweight Model | تحديد صور الاستشعار عن بعد | HRNet18s_OCR48 | static_hrnet18_ocr48_rsbuilding_instance |
| Lightweight Model | تحديد الصور الطبية والكبد | HRNet18s_OCR48 | static_hrnet18s_ocr48_lits |
ملاحظة : يجب وضع بنية النموذج الذي تم تنزيله "* .pdmodel" ومعلمات النموذج المقابلة "* .pdiparams" في نفس مسار المجلد على جهازك. عند تحميل النموذج ، ما عليك سوى تحديد موقع معلمة النموذج في نهاية * .pdiparams ، وسيتم تحميل * .pdmodel تلقائيًا. عند استخدام نموذج "EdgeFlow" ، يرجى إيقاف تشغيل "استخدام قناع" والتحقق من "استخدام قناع" عند استخدام طرز أخرى.
يوفر EISeg طرقًا متعددة للتثبيت ، من بينها pip و كود التشغيل متوافقان مع أنظمة التشغيل Windows و Mac OS و Linux. يوصى بالتثبيت في بيئة افتراضية تم إنشاؤها بواسطة Conda خوفًا من مشاكل في عدم التوافق.
متطلبات الإصدار:
- PaddlePaddle >= 2.2.0
لمزيد من التفاصيل حول تثبيت PaddlePaddle ، يرجى الرجوع إلى موقعنا الموقع الرسمي.
استنساخ PaddleSeg الي جهازك عن طريق git:
git clone https://github.com/PaddlePaddle/PaddleSeg.git
قم بتثبيت البيئة المطلوبة (إذا كنت بحاجة إلى استخدام GDAL و SimpleITK ، فيرجى الرجوع إلى Vertical Segmentation للتثبيت).
pip install -r requirements.txt
قم بتمكين EISeg عن طريق تشغيل eiseg بعد تثبيت البيئة المطلوبة:
cd PaddleSeg\EISeg
python -m eiseg
أو يمكنك تشغيل exe.py في eiseg:
cd PaddleSeg\EISeg\eiseg
python exe.py
قم بتثبيت pip على النحو التالي ：
pip install eiseg
تقوم pip بتثبيت التبعيات تلقائيًا. بعد ذلك ، أدخل ما يلي في سطر command line:
eiseg
الآن ، يمكنك تشغيل pip.
بعد فتح البرنامج ، قم بإجراء الإعدادات التالية قبل التحديد على الصور:
-
تحميل نموذج المعلمة
حدد الشبكة المناسبة وقم بتحميل معلمات النموذج المقابلة. يشهد EISeg0.4.0 تحويل استدلال الرسم البياني الديناميكي إلى استنتاج ثابت وتحسينات شاملة لسرعة الاستدلال بنقرة واحدة. بعد تنزيل وفك ضغط النموذج والمعلمات الصحيحة ، يجب وضع بنية النموذج
* .pdmodelومعلمات النموذج المقابلة* .pdiparamsفي نفس الدليل ، وفقط موقع معلمة النموذج في نهاية* يجب تحديد .pdiparamsعند تحميل النموذج. تستغرق تهيئة النموذج الثابت بعض الوقت ، يرجى الانتظار بصبر حتى يتم تحميل النموذج. سيتم تسجيل معلمات النموذج التي تم تحميلها بشكل صحيح فيمعلمات النموذج الحديثة، والتي يمكن تبديلها بسهولة ، وسيتم تحميل معلمة النموذج الخارج تلقائيًا في المرة التالية التي تفتح فيها البرنامج. -
فتح الصور
قم بفتح مجلد الصور التي تحتوي الصور المراد تحديدها وعند تحميلها نلاحظ ظهورها في الشاشة الرئيسية للبرنامج تحت
قائمة البيانات. -
اضافة او إستيراد علامات
إضافة / تحميل العلامات. يمكن إنشاء علامات جديدة عن طريق
إضافة تسمية، والتي تنقسم إلى 4 أعمدة مطابقة لقيمة البكسل والوصف واللون والحذف. يمكن حفظ العلامات التي تم إنشاؤها حديثًا كملفات txt عن طريقحفظ قائمة العلامات، ويمكن للمتعاونين الآخرين استيراد العلامات عن طريقتحميل قائمة العلامات. العلامات التي تم استيرادها عن طريق التحميل سيتم تحميلها تلقائيًا بعد إعادة تشغيل البرنامج. -
الحفظ التلقائي
يمكنك اختيار مجلد الحفظ المناسب وتشغيل
الحفظ التلقائي, بحيث يتم حفظ الصورة التي انتهيت منها تلقائيًا عند تبديل الصور.
يمكنك البدأ في استخدام البرنامج الان عندما تتم أعداد كل ما سبق, يوجد ايضًا اختصارات للوحة المفاتيح لتسهل عليك ويمكن تعديلها عن طريق الضغط على حرف E بم يناسبك.
| المفتاح الو الحروف الدالة على الاختصارات | الخاصية |
|---|---|
| زر الفأرة الايسر | أضف نقاط عينة موجبة |
| زر الماوس الايمن | أضف نقاط عينة سلبية |
| زر الماوس الأوسط | تحريك الصورة |
| Ctrl + زر الماوس الأوسط （عجلة) | تكبير الصورة |
| S | الصورة السابقة |
| F | الصورة التالية |
| مسافة | انهاء التعليم |
| Ctrl+Z | خطوة للخلف |
| Ctrl+Shift+Z | مسح |
| Ctrl+Y | خطوة للأمام |
| Ctrl+A | فتح صورة |
| Shift+A | افتح المجلد |
| E | افتح قائمة مفاتيح الاختصار |
| Backspace | حذف المضلع |
| نقرتين متتاليتين（نقطة） | حذف نقطة |
| نقرتين متتاليتين（حرف） | إضافة نقطة |
-
مضلع
- انقر فوق مفتاح ال
مسافةلإكمال التعليق التوضيحي التفاعلي ، ثم يظهر حدود المضلع. - عندما تحتاج إلى متابعة العملية التفاعلية داخل المضلع ، انقر فوق
مسافةللتبديل إلى الوضع التفاعلي حتى لا يمكن تحديد المضلع وتغييره. - يمكن حذف المضلع. استخدم الماوس الأيسر لسحب نقطة الربط ، وانقر نقرًا مزدوجًا فوق نقطة الربط لحذفها ، ثم انقر نقرًا مزدوجًا فوق أحد الجوانب لإضافة نقطة ربط.
- مع تشغيل
الاحتفاظ بأقصى عدد من الكتل المتصلة، ستبقى المساحة الأكبر فقط في الصورة ، ولن يتم عرض باقي المساحات الصغيرة وحفظها.
- انقر فوق مفتاح ال
-
الصيغات المختلفة للحفظ واخراج الملفات
- سيتم تسجيل المضلعات وتحميلها تلقائيًا بعد إعداد
حفظ JSONأوCOCO حفظ. - مع عدم وجود مسار حفظ محدد ، يتم حفظ الصورة في مجلد التسمية ضمن مجلد الصورة الحالي افتراضيًا.
- إذا كانت هناك صور بنفس الاسم ولكن بصيغة مختلفة ، فيمكنك فتح
التسميات والصور ذات الامتدادات نفسها. - يمكنك أيضًا الحفظ كصورة ذات تدرج رمادي أو ألوان زائفة أو غير لامعة ، راجع الأدوات 7-9 في شريط الأدوات.
- سيتم تسجيل المضلعات وتحميلها تلقائيًا بعد إعداد
-
استخدام واخراج القناع
- يمكن سحب الملصقات عن طريق الضغط باستمرار على العمود الثاني ، وسيتم الكتابة فوق القناع النهائي الذي تم إنشاؤه من أعلى إلى أسفل وفقًا لقائمة العلامات.
-
وحدة واجهة
- يمكنك تحديد وحدة الواجهة ليتم عرضها في
العرض، وسيتم تسجيل حالة الخروج العادية وموقع وحدة الواجهة ، وتحميلها تلقائيًا عند فتحها في المرة القادمة.
- يمكنك تحديد وحدة الواجهة ليتم عرضها في
-
تجزئة رأسية
يدعم EISeg الآن صور الاستشعار عن بعد وتجزئة الصور الطبية ، ويلزم تثبيت تبعيات إضافية لتشغيلها.
-
قم بتثبيت GDAL للاستشعار عن بعد لتجزئة الصورة ، يرجى الرجوع إلى تجزئة الاستشعار عن بعد。
-
قم بتثبيت SimpleITK لتجزئة الصور الطبية ، يرجى الرجوع إلى تجزئة الصور الطبية。
-
أداة البرمجة النصية
يوفر EISeg حاليًا أدوات البرمجة النصية بما في ذلك التعليقات التوضيحية على مجموعة بيانات PaddleX ، وتحديد تنسيق COCO والتسميات الدلالية لتسميات المثيلات ، إلخ. راجع استخدام أدوات البرمجة النصية لمزيد من التفاصيل.
يمكنك نعرفة آخر التحديقات من هنا
نشكر المطورين Yuying Hao, Lin Han, Yizhou Chen, Yiakwy, GT, Youssef Harby, Zhiliang Yu, Nick Nie والدعم من قبل RITM.
إذا وجدت مشروعنا مفيدًا في بحثك ، فيرجى كتابة الاقتباس :
@article{hao2021edgeflow,
title={EdgeFlow: Achieving Practical Interactive Segmentation with Edge-Guided Flow},
author={Hao, Yuying and Liu, Yi and Wu, Zewu and Han, Lin and Chen, Yizhou and Chen, Guowei and Chu, Lutao and Tang, Shiyu and Yu, Zhiliang and Chen, Zeyu and others},
journal={arXiv preprint arXiv:2109.09406},
year={2021}
}