روش‌شناسی

1. کاتالوگ در سطح گروه

نقطه شروع، کاتالوگی گزینش‌شده با 484 ردیف از گروه‌های قومی است که بر اساس نام نمایه شده و ستون‌های استانداردشده‌ای برای سرزمین مادری، منطقه، زبان، کدهای ISO زبان، کدهای ISO کشور، دین و در صورت وجود نشانی Wikipedia دارد. رده‌بندی از سلسله‌مراتب استاندارد قاره ← زیرمنطقه ← قومیت پیروی می‌کند: آمریکا، اروپا، آفریقا، آسیا و اقیانوسیه در سطح قاره؛ 23 زیرمنطقه؛ 484 گروه قومی.

این کاتالوگ پیش از خط پردازش کنونی وجود داشته و به‌صورت دستی گزینش شده است. این کاتالوگ به‌عنوان پیکربندی ethnicities در مجموعه داده عمومی HuggingFace منتشر شده است.

2. گردآوری افراد سرشناس

برای هر گروهی که نشانی Wikipedia دارد، تلاش می‌کنیم مقاله متناظر "List of {Ethnicity} people" را دریافت کنیم. هرگاه چنین مقاله‌ای وجود داشته باشد، نام‌ها، توصیف‌های کوتاه از دلیل شهرت، سال‌های تولد و درگذشت در صورت ذکر و نشانی‌های مرجع هر فرد را استخراج می‌کنیم. 291 گروه از 484 گروه دست‌کم یک مقاله از این نوع در Wikipedia دارند؛ 193 گروه ندارند (معمولاً گروه‌های کوچک یا کم‌شناخته‌ای که برایشان صفحه فهرستی نوشته نشده است). این گردآوری در مجموع ۱۳٬۰۹۴ ردیف فرد تولید کرد که به‌عنوان پیکربندی notable_people منتشر شده است.

3. یافتن نشانی تصاویر

برای هر فرد گردآوری‌شده، نشانی مرجع را تا مقاله جداگانه او در Wikipedia دنبال می‌کنیم و نشانی یک تصویر نماینده را استخراج می‌کنیم؛ اولویت با تصویر جعبه اطلاعات اصلی مقاله است و در غیر این صورت نخستین تصویر OpenGraph برداشته می‌شود. 6,243 نفر از 13,094 نفر (47.7%) تصویری قابل یافتن در Wikipedia دارند؛ حدود 52% باقی‌مانده تصویری در جعبه اطلاعات ندارند (اغلب چهره‌هایی از دوران پیش از عکاسی یا افراد کم‌شهرتی که مقاله‌شان فقط متن است).

upload.wikimedia.org متعلق به Wikimedia نرخ درخواست‌ها را برای هر IP مبدأ به‌شدت محدود می‌کند. ما نرخ دریافت‌کننده را به 2 درخواست در ثانیه برای هر IP مبدأ محدود می‌کنیم؛ نرخ‌های بالاتر درون دسته‌ها خطای HTTP 429 ایجاد می‌کنند.

4. حاشیه‌نویسی با مدل زبانی بینایی

هر تصویری که نشانی قابل یافتن دارد، همراه با یک پرامپت ساختاریافته ثابت به یک مدل زبانی بینایی فرستاده می‌شود که 14 فیلد فنوتیپ به‌علاوه یک امتیاز اطمینان خوداظهاری (از 0.0 تا 1.0) و یک دسته کیفیت تصویر (high / medium / low / very_low) را درخواست می‌کند. پرامپت به‌صراحت به مدل دستور می‌دهد که برای رنگ پوست از واژگان Fitzpatrick I تا VI استفاده کند (و در موارد مناسب بازه‌ها را بپذیرد)، وجود چین اپی‌کانتیک را به‌عنوان یک زیرفیلد ساختاریافته شکل چشم تشخیص دهد، عکس را یک مشاهده از یک فرد بداند (نه نمونه اولیه یک کلیشه قومی)، برای فیلدهایی که ارزیابی‌شدنی نیستند unknown یا مقدار خالی برگرداند و موانع دید (عینک، کلاه، آرایش، چهره ناقص) را به‌صراحت گزارش کند.

مدل مورد استفاده، پروفایل استنتاج Anthropic Claude Sonnet 4.6 روی AWS Bedrock (us.anthropic.claude-sonnet-4-6) است. اجراهای آزمایشی با مدل‌های رده بالاتر هیچ بهبود قابل اندازه‌گیری در دقت برای این پرامپت نشان ندادند: این وظیفه استخراج ساختاریافته با زمینه کوتاه و طرح‌واره ثابت است که Sonnet آن را با کیفیت کامل و هزینه کمتر انجام می‌دهد.

آمار اجرا: 5,668 تصویر با موفقیت تحلیل شد؛ حدود 575 تصویر ناموفق بود (خطای بارگذاری، خطای مدل، خطای تجزیه یا ورودی‌های بیش از حد بزرگ که به سقف 5MB برای هر تصویر در Bedrock برخوردند)؛ هم‌روندی = 4؛ توان عملیاتی حدود 0.42 تصویر در ثانیه (محدود به شبکه)؛ هزینه کل 44.66 دلار آمریکا بر اساس قیمت فهرست Bedrock.

پاسخ ساختاریافته تجزیه و ردیف‌به‌ردیف ذخیره می‌شود. JSON خام اصلی برای ممیزی در پایگاه داده منبع (ستون ethnic_image_analysis.raw_json) نگهداری می‌شود اما بازتوزیع نمی‌شود.

5. سامانه واژگان کنترل‌شده

افزون بر تحلیل قدیمی 14 فیلدی، خط پردازش اکنون واژگان کنترل‌شده جامعی تعریف می‌کند که 22 دسته آناتومیک را با 196 بُعد و 853 دسته واژگانی بر پایه بیش از 113 منبع داوری‌شده پوشش می‌دهد. هر فایل واژگان یک سند JSON است که ابعاد (با نوع: رده‌ای / ترتیبی / عددی / ساختاریافته)، مقیاس (با استناد)، توضیح، مقادیر معتبر (با تعریف‌ها) و فراداده مشاهده‌پذیری (اینکه آیا بُعد از روی عکس ارزیابی‌شدنی است و با چه حداقل میزان دیده‌شدن) را مشخص می‌کند.

یک اسکریپت مولد (scripts/generate-from-vocabulary.mjs) هر فایل واژگان را می‌خواند و چهار خروجی تولید می‌کند: بخشی از پرامپت تحلیل برای مدل زبانی بینایی، یک مدل پایگاه داده Prisma، یک تابع تجمیع و یک صفحه مستندات Markdown. افزودن یک بُعد جدید یعنی ویرایش یک فایل JSON و اجرای دوباره مولد؛ هیچ پرامپت تحلیل دست‌نوشته‌ای وجود ندارد که لازم باشد هم‌زمان با طرح‌واره نگهداری شود.

برای مرور 22 دسته به اطلس، برای همه 853 اصطلاح تعریف‌شده به واژه‌نامه یا برای فایل‌های منبع به مخزن واژگان عمومی مراجعه کنید.

6. تجمیع برای هر گروه

یک تجمیع‌گر قطعی SQL/JavaScript (بدون مدل زبانی) از ردیف‌های مشاهده تصویر هر گروه، یک کارت خلاصه برای آن گروه تولید می‌کند. این تجمیع‌گر به مدل زبانی وابسته نیست و قابل اجرای دوباره است. برای هر گروهی که دست‌کم 3 مشاهده تصویر دارد، موارد زیر را تولید می‌کند:

• اندازه نمونه و تفکیک منابع
• تفکیک کیفیت (درصدهای high / medium / low / very_low)
• میانگین اطمینان خوداظهاری
• توزیع Fitzpatrick (نسبت ردیف‌ها در هر دسته I تا VI)
• توزیع رنگ مو، بافت مو و رنگ چشم
• نسبت چین اپی‌کانتیک (بله / خیر / جزئی)
• سطرهای هشدار شرطی: نمونه کوچک (N<10)، نمونه متوسط (N<25)، کیفیت پایین، اطمینان پایین، «افراد سرشناس Wikipedia بیشتر مرد و اهل زندگی عمومی‌اند و نماینده جمعیت نیستند»

7. امتیاز پوشش

هر صفحه گروه قومی یک امتیاز عمق داده از 0 تا 100 با چهار مؤلفه وزن‌دار نمایش می‌دهد:

• اندازه نمونه 0 تا 40 (تعداد تصاویر در مقیاس لگاریتمی، با سقف در n≥50)
• کیفیت 0 تا 30 (درصد تصاویر با image_quality = "high")
• اطمینان 0 تا 20 (میانگین اطمینان خوداظهاری مدل)
• تنوع منابع 0 تا 10 (تعداد source_types متمایز؛ در حال حاضر همیشه 0 یا 1، چون 100% از Wikipedia است؛ سازگار با گسترش‌های آینده)

این امتیاز عمق پوشش را صادقانه نشان می‌دهد. گروه‌هایی که Wikipedia هیچ پوشش تصویری برایشان ندارد در 0 قرار می‌گیرند؛ گروه‌هایی با پوشش جامع به 100 نزدیک می‌شوند. امتیاز در ethniclist.CoverageScore ذخیره می‌شود و هر بار که داده‌های زیربنایی تغییر کند به‌روز می‌شود.

8. تکرارپذیری

همه کدهای خط پردازش با مجوز Apache 2.0 در github.com/Agaveis/phenotype-catalog-pipeline متن‌باز است. مقاله روش‌شناسی در doi.org/10.5281/zenodo.20075617 منتشر شده است. مجموعه داده با مجوز CC BY 4.0 در huggingface.co/datasets/EthnicErotic/phenotype-catalog منتشر شده است.

تکرار خط پردازش به این موارد نیاز دارد: اعتبارنامه‌های AWS با دسترسی به Bedrock در us-east-1، یک پایگاه داده SQL Server با طرح‌واره (یا انتقال آن به پایگاه داده دلخواه شما)، Node.js 18+، HuggingFace CLI برای بارگذاری و حدود 45 دلار آمریکا بودجه استنتاج بینایی در Bedrock برای اجرای کامل روی 5,668 تصویر.