المنهجية

1. كتالوج على مستوى المجموعات

نقطة البداية كتالوج منسَّق من 484 صفًا للمجموعات الإثنية، مفهرس بالاسم، وفيه أعمدة موحَّدة للموطن والمنطقة واللغة ورموز ISO للغات ورموز ISO للبلدان والدين، ورابط Wikipedia حيثما توفر. يتبع التصنيف تسلسلًا هرميًا معياريًا: قارة ← منطقة فرعية ← إثنية: الأمريكتان وأوروبا وأفريقيا وآسيا وأوقيانوسيا على مستوى القارات؛ و23 منطقة فرعية؛ و484 مجموعة إثنية.

يسبق هذا الكتالوج خط المعالجة الحالي، وهو منسَّق يدويًا. وهو منشور بوصفه الإعداد ethnicities في مجموعة البيانات العامة على HuggingFace.

2. جمع بيانات المشاهير

لكل مجموعة لها رابط Wikipedia، نحاول جلب مقالة "List of {Ethnicity} people" المقابلة. وحين توجد هذه المقالة، نستخرج الأسماء، والأوصاف المختصرة لما اشتهر به كل شخص، وسنوات الميلاد والوفاة حين تظهر، وروابط المراجع لكل شخص. لدى 291 مجموعة من أصل 484 مقالة واحدة على الأقل من هذا النوع في Wikipedia؛ أما 193 مجموعة فليست لديها (وهي عادةً مجموعات صغيرة أو مغمورة لم تُكتب لها صفحة قائمة). أنتج الجمع 13,094 صفًا من الأشخاص إجمالًا، منشورة بوصفها الإعداد notable_people.

3. اكتشاف روابط الصور

لكل شخص جُمعت بياناته، نتتبع رابط المرجع إلى مقالته الخاصة في Wikipedia ونستخرج رابط صورة تمثيلية، مع تفضيل صورة صندوق المعلومات الرئيسي في المقالة، والرجوع إلى أول صورة OpenGraph عند تعذرها. لدى 6,243 شخصًا من أصل 13,094 (47.7%) صورة يمكن العثور عليها في Wikipedia؛ أما النسبة المتبقية البالغة نحو 52% فليست لديهم صورة في صندوق المعلومات (وهم غالبًا شخصيات من حقبة ما قبل التصوير أو أشخاص قليلو الشهرة مقالاتهم نصية فقط).

يفرض upload.wikimedia.org التابع لـWikimedia حدودًا صارمة لمعدل الطلبات لكل عنوان IP مصدر. نحدّ أداة الجلب بمعدل 2 طلب في الثانية لكل عنوان IP مصدر؛ والمعدلات الأعلى تؤدي إلى الخطأ HTTP 429 داخل الدفعات.

4. التوصيف بنموذج لغة بصري

تُرسل كل صورة لها رابط قابل للاكتشاف إلى نموذج لغة بصري مع موجِّه منظَّم ثابت يطلب 14 حقلًا للنمط الظاهري، إضافة إلى درجة ثقة ذاتية (من 0.0 إلى 1.0) وفئة لجودة الصورة (high / medium / low / very_low). يوجّه الموجِّه النموذج صراحةً إلى استخدام مفردات Fitzpatrick من I إلى VI للون البشرة (مع قبول النطاقات حيث يكون ذلك مناسبًا)، وإلى رصد وجود الطية الموقية بوصفها حقلًا فرعيًا منظمًا لشكل العين، وإلى معاملة الصورة على أنها ملاحظة واحدة لشخص واحد (لا نموذجًا أوليًا لصورة نمطية إثنية)، وإلى إرجاع unknown أو قيمة فارغة للحقول التي لا يمكن تقييمها، وإلى الإفصاح صراحةً عن العوائق (النظارات، القبعة، المكياج، الوجه الجزئي).

النموذج المستخدم هو ملف الاستدلال Anthropic Claude Sonnet 4.6 على AWS Bedrock (us.anthropic.claude-sonnet-4-6). لم تُظهر التجارب الأولية على نماذج من فئة أعلى أي تحسن ملموس في الدقة مع هذا الموجِّه: فالمهمة استخراج منظَّم قصير السياق وفق مخطط ثابت، وهو ما ينجزه Sonnet بجودة كاملة وبتكلفة أقل.

إحصاءات التشغيل: حُلِّلت 5,668 صورة بنجاح؛ وفشلت نحو 575 صورة (إخفاقات في التحميل، أو أخطاء في النموذج، أو إخفاقات في التحليل، أو مدخلات كبيرة الحجم تتجاوز حد Bedrock البالغ 5MB لكل صورة)؛ التزامن = 4؛ الإنتاجية نحو 0.42 صورة في الثانية (محدودة بالشبكة)؛ التكلفة الإجمالية 44.66 دولارًا أمريكيًا وفق الأسعار المعلنة لـBedrock.

تُحلَّل الاستجابة المنظمة وتُخزَّن صفًا صفًا. ويُحتفظ بملف JSON الخام الأصلي في قاعدة البيانات المصدرية (العمود ethnic_image_analysis.raw_json) لأغراض التدقيق، لكنه لا يُعاد توزيعه.

5. نظام المفردات المضبوطة

إضافةً إلى التحليل القديم ذي الـ14 حقلًا، يعرّف خط المعالجة الآن مفردات مضبوطة شاملة تغطي 22 فئة تشريحية تضم 196 بُعدًا و853 خانة مفردات مستندة إلى أكثر من 113 مرجعًا محكَّمًا. كل ملف مفردات هو مستند JSON يحدد الأبعاد (مع النوع: فئوي / ترتيبي / رقمي / منظم)، والمقياس (مع الإحالة المرجعية)، والوصف، والقيم الصالحة (مع تعريفاتها)، وبيانات وصفية عن قابلية الملاحظة (هل يمكن تقييم البعد من صورة فوتوغرافية، وما الحد الأدنى من الظهور المطلوب لذلك).

يقرأ برنامج نصي مولِّد (scripts/generate-from-vocabulary.mjs) كل ملف مفردات وينتج أربعة مخرجات: جزءًا من موجِّه التحليل لنموذج اللغة البصري، ونموذج قاعدة بيانات Prisma، ودالة تجميع، وصفحة توثيق بصيغة Markdown. وإضافة بعد جديد تعني تعديل ملف JSON واحد وإعادة تشغيل المولِّد؛ فلا يوجد موجِّه تحليل مكتوب يدويًا يجب صيانته بالتوازي مع المخطط.

راجع الأطلس لتصفح الفئات الـ22، أو المسرد للاطلاع على جميع المصطلحات المعرَّفة البالغ عددها 853، أو مستودع المفردات العام للاطلاع على الملفات المصدرية.

6. التجميع لكل مجموعة

ينتج مجمِّع حتمي مكتوب بلغتي SQL وJavaScript (من دون نموذج لغوي) بطاقة ملخص لكل مجموعة من صفوف ملاحظات الصور الخاصة بها. المجمِّع لا يعتمد على نموذج لغوي ويمكن إعادة تشغيله. ولكل مجموعة لديها 3 ملاحظات صور على الأقل، ينتج:

• حجم العينة وتوزيع المصادر
• توزيع الجودة (نسب high / medium / low / very_low)
• متوسط الثقة الذاتية
• توزيع Fitzpatrick (نسبة الصفوف في كل فئة من I إلى VI)
• توزيعات لون الشعر وقوام الشعر ولون العين
• نسبة الطية الموقية (نعم / لا / جزئية)
• أسطر تحفظات مشروطة: عينة صغيرة (N<10)، عينة متوسطة (N<25)، جودة منخفضة، ثقة منخفضة، «مشاهير Wikipedia يميلون إلى الذكور وأصحاب الحياة العامة، وليسوا ممثلين للسكان»

7. درجة التغطية

تعرض كل صفحة مجموعة إثنية درجة عمق البيانات من 0 إلى 100 ذات أربعة مكونات مرجَّحة:

• حجم العينة من 0 إلى 40 (عدد الصور بمقياس لوغاريتمي، يبلغ الحد الأقصى عند n≥50)
• الجودة من 0 إلى 30 (نسبة الصور ذات image_quality = "high")
• الثقة من 0 إلى 20 (متوسط الثقة الذاتية للنموذج)
• تنوع المصادر من 0 إلى 10 (عدد source_types المختلفة؛ حاليًا دائمًا 0 أو 1 لأن المصدر Wikipedia بنسبة 100%، مع التوافق مع التوسعات المستقبلية)

تعكس الدرجة عمق التغطية بأمانة. فالمجموعات التي لا تغطيها Wikipedia بالصور تقف عند 0؛ والمجموعات ذات التغطية الشاملة تقترب من 100. تُخزَّن الدرجة في ethniclist.CoverageScore وتُحدَّث كلما تغيرت البيانات الأساسية.

8. قابلية التكرار

جميع شيفرات خط المعالجة مفتوحة المصدر بموجب ترخيص Apache 2.0 في github.com/Agaveis/phenotype-catalog-pipeline. ورقة المنهجية منشورة في doi.org/10.5281/zenodo.20075617. ومجموعة البيانات منشورة بموجب ترخيص CC BY 4.0 في huggingface.co/datasets/EthnicErotic/phenotype-catalog.

يتطلب تكرار خط المعالجة: بيانات اعتماد AWS مع صلاحية الوصول إلى Bedrock في us-east-1، وقاعدة بيانات SQL Server بالمخطط (أو نقله إلى قاعدة البيانات التي تختارها)، وNode.js 18+، وواجهة سطر الأوامر HuggingFace CLI للرفع، وميزانية نحو 45 دولارًا أمريكيًا للاستدلال البصري على Bedrock من أجل التشغيل الكامل على 5,668 صورة.