AI Research • Arabic NLP • Machine Learning

كشف الأخبار الزائفة العربية بالذكاء الاصطناعي

عين حورس — مشروع تخرّج بحثي

مساران تجريبيان منفصلان على مجموعة AFND: محوّل مبني من الصفر بست تجارب، وضبط دقيق لـ AraBERT v0.2 Base بسبع تجارب — بكل الإعدادات والمقاييس والملاحظات كما وردت في مستندات المشروع.

استكشف البحث عرض التجارب

مقالاً مزحوفاً: 606,912
مجلد مصدر: 134
تجربة موثّقة: 13
فئات تصنيف: 3

مرّر للاستكشاف

02نظرة عامة

ما الذي يبحثه هذا المشروع

كشف الأخبار الزائفة العربية بثلاث فئات — Credible / Not Credible / Undecided — عبر مسارين تجريبيين مستقلين لا يُدمجان ولا تُحسب لهما متوسطات.

إجمالي المقالات المزحوفة

606,912

AFND

مجلدات المصادر

134

sources.json

أفضل دقة اختبار — المسار A

84.37%

محوّل من الصفر · التجربة 6

أفضل دقة اختبار — المسار B

89.38%

AraBERT v0.2 Base · التجربة 5

المشكلة

المحتوى الإخباري العربي واسع الانتشار وسريع التداول، وتمييز المصادر الموثوقة عن غير الموثوقة عن غير المحسومة مهمة تصنيف نصي عربية بثلاث فئات. يعالج المشروع هذه المهمة على مجموعة AFND عبر بناء محوّل من الصفر ومقارنته — كمسار منفصل — بضبط دقيق لنموذج AraBERT.

Credible

Not Credible

Undecided

Track A

المسار A — محوّل مبني من الصفر

تقرير مقارنة التجارب الست · 134 مجلد مصدر · 606,912 مقالاً مزحوفاً

6 trials

Track B

المسار B — ضبط AraBERT الدقيق

سبع تجارب · AFND Balanced 99,999 ثم 399,999 · أفضل دقة اختبار 89.38% (التجربة 5)

7 trials

03مجموعة البيانات

AFND — مجموعة بيانات الأخبار الزائفة العربية

الأرقام أدناه كما سُجّلت في مستندات المشروع دون إعادة حساب.

إجمالي المقالات المزحوفة

606,912

موزّعة على 134 مجلد مصدر

مجموعة البيانات: AFND — Arabic Fake News Dataset
إجمالي مجلدات المصادر: 134
إجمالي المقالات المزحوفة: 606,912
الفئات: Credible / Not Credible / Undecided
البنية على القرص: sources.json (خريطة {folder_name: label}) + 134 مجلد source_N يحوي scraped_articles.json

تصوّر مجرّد لتدفّق مئات آلاف المقالات الإخبارية إلى مجموعة بيانات منظّمة

04معالجة البيانات

من المصادر الخام إلى تقسيمات التدريب

كل مرحلة أدناه مأخوذة من خطوة مذكورة في مستندات المشروع. اختر مرحلة لقراءة تفاصيلها.

المصادر

134 مجلد مصدر، مُفهرسة في sources.json بصيغة {folder_name: label}.

الوسوم تُطبَّق على مستوى المصدر كما وردت في sources.json.

05المنهجية

مساران تجريبيان مستقلان

يستخدم المساران بيانات وتقسيمات وبروتوكولات تقييم مختلفة، لذلك لا تُقارَن أرقامهما مباشرة.

Track A

All_Trials_Report_2.pptx

Trial_6_fixed.ipynb

المسار A — محوّل مبني من الصفر

تنفيذ PyTorch أصيل لمصنّف Transformer Encoder لكشف الأخبار الزائفة العربية بثلاث فئات (Credible / Not Credible / Undecided).
لا تُستخدم أي نماذج مُدرّبة مسبقاً: المُرمِّز والمفردات والترميز الموضعي ومشفّر المحوّل — كلها مبنية من المبادئ الأولى.
التجارب 1–3 تعتمد تقسيم Cross-Source (folder) مع اختبار أعمى على 24 مجلداً محجوزاً؛ التجارب 4–6 تعتمد تقسيم Randomized (article) على الزحف الكامل.

Track B

A_full_comprehensive_comparison.docx

Fifth_Trail_Arabic_Fake_News_Detection_Trail_5.ipynb

المسار B — ضبط AraBERT الدقيق

ضبط دقيق (fine-tuning) لنموذج AraBERT v0.2 Base — aubmindlab/bert-base-arabertv02 — على مجموعة AFND متوازنة بثلاث فئات.
المُحسِّن AdamW مع اضمحلال وزن 0.01 ونسبة إحماء 10% وبذرة عشوائية 42 في كل التجارب السبع.
الإيقاف المبكر مُفعّل في كل التجارب؛ ابتداءً من التجربة 5 يصبح معدل التعلّم تكيّفياً: إحماء خطي ثم ReduceLROnPlateau يخفضه إلى النصف كلما توقّف تحسّن خسارة التحقق لحقبة كاملة.

06معمارية النموذج

مشفّر محوّل مبني من الصفر

مرّر أو اختر مكوّناً لقراءة التهيئة المسجّلة له في مستندات المشروع.

تفاصيل المكوّن

النص العربي

نص المقال الإخباري العربي من زحف AFND.

07الرحلة التجريبية

كل تجربة، بالترتيب الذي جرت به

التدرّج جزء من البحث: التجارب الأضعف معروضة إلى جانب الأقوى، كما وردت تماماً.

الأساس

54K train, CE Loss

All_Trials_Report_2.pptx

ما الذي تغيّر

Baseline — 54K train, CE Loss (كما ورد في مخطط التقرير).

نتائج التدريب والتحقق

دقة التدريب

88.37%

دقة التحقق (الأفضل)

76.88%

نتائج الاختبار

دقة الاختبار / المحجوز

40.40%

Blind Test — مصادر غير مرئية

الفجوة تحقق ← اختبار

36.5 pp

المتوسط الكلي Macro (P / R / F1)

0.454 / 0.452 / 0.406

الأداء لكل فئة

الفئة	Precision	Recall	F1
موثوق	0.598	0.296	0.396
غير موثوق	0.483	0.374	0.422
غير محسوم	0.282	0.686	0.400
المتوسط الكلي (Macro)	0.454	0.452	0.406

القيم بصيغة Precision / Recall / F1 كما وردت في المستند المصدر.

التجربة 1 · 10,000 مقال اختبار

Blind Test · 24 مصدراً غير مرئي إطلاقاً — نفس مجموعة الاختبار للتجارب 1–3

n = 10,000

الفعلي ⟍ المتوقَّع	موثوق	غير موثوق	غير محسوم
موثوق	1,472	609	2,890
غير موثوق	827	1,060	945
غير محسوم	164	525	1,508

تصنيف صحيح (القطر)التباسالصفوف = الفئة الفعلية · الأعمدة = التنبؤ

منحنى الخسارة

منحنيات لكل حقبة كما وردت في مخططات المستند المصدر.

منحنى الدقة

منحنيات لكل حقبة كما وردت في مخططات المستند المصدر.

الملاحظات كما وردت في المصدر

دقة الاختبار الأعمى 40.40% · دقة التحقق 76.88% · فجوة 36.5 نقطة مئوية.

أعلى دقة اختبار أعمى بين التجارب T1–T3 (40.4%)
أعلى F1 لفئة Credible (0.396)
أصغر فجوة val→test بين T1–T3 (36.5 pp)

07Track A

المسار A — محوّل مبني من الصفر

تقرير مقارنة التجارب الست · 134 مجلد مصدر · 606,912 مقالاً مزحوفاً

أفضل دقة اختبار

84.37%

التجربة 6 · فجوة val→test 0.16 pp

أعلى دقة تحقق مفردة

85.15%

التجربة 5

إجمالي المقالات المزحوفة

606,912

134 مجلد مصدر · زحف كامل

أفضل Macro F1

0.839

التجربة 6

دقة التحقق مقابل دقة الاختبار

قيم منقولة حرفياً من المستند المصدر لكل تجربة.

تطوّر الدقة عبر التجارب

التدريب مقابل التحقق مقابل الاختبار.

مقاييس F1 لكل تجربة

الوحدات كما وردت في المستند المصدر.

تفاصيل التجارب

الأساس

54K train, CE Loss

All_Trials_Report_2.pptx

ما الذي تغيّر

Baseline — 54K train, CE Loss (كما ورد في مخطط التقرير).

نتائج التدريب والتحقق

دقة التدريب

88.37%

دقة التحقق (الأفضل)

76.88%

نتائج الاختبار

دقة الاختبار / المحجوز

40.40%

Blind Test — مصادر غير مرئية

الفجوة تحقق ← اختبار

36.5 pp

المتوسط الكلي Macro (P / R / F1)

0.454 / 0.452 / 0.406

الأداء لكل فئة

الفئة	Precision	Recall	F1
موثوق	0.598	0.296	0.396
غير موثوق	0.483	0.374	0.422
غير محسوم	0.282	0.686	0.400
المتوسط الكلي (Macro)	0.454	0.452	0.406

القيم بصيغة Precision / Recall / F1 كما وردت في المستند المصدر.

التجربة 1 · 10,000 مقال اختبار

Blind Test · 24 مصدراً غير مرئي إطلاقاً — نفس مجموعة الاختبار للتجارب 1–3

n = 10,000

الفعلي ⟍ المتوقَّع	موثوق	غير موثوق	غير محسوم
موثوق	1,472	609	2,890
غير موثوق	827	1,060	945
غير محسوم	164	525	1,508

تصنيف صحيح (القطر)التباسالصفوف = الفئة الفعلية · الأعمدة = التنبؤ

منحنى الخسارة

منحنيات لكل حقبة كما وردت في مخططات المستند المصدر.

منحنى الدقة

منحنيات لكل حقبة كما وردت في مخططات المستند المصدر.

الملاحظات كما وردت في المصدر

دقة الاختبار الأعمى 40.40% · دقة التحقق 76.88% · فجوة 36.5 نقطة مئوية.

أعلى دقة اختبار أعمى بين التجارب T1–T3 (40.4%)
أعلى F1 لفئة Credible (0.396)
أصغر فجوة val→test بين T1–T3 (36.5 pp)

08Track B

المسار B — ضبط AraBERT الدقيق

سبع تجارب · AFND Balanced 99,999 ثم 399,999 · أفضل دقة اختبار 89.38% (التجربة 5)

أفضل دقة اختبار

89.38%

التجربة 5

أفضل F1 موزون

89.39%

التجربة 5

أدنى خسارة اختبار

0.2698

التجربة 6

أعلى دقة تحقق

90.05%

التجربة 7

دقة التحقق مقابل دقة الاختبار

قيم منقولة حرفياً من المستند المصدر لكل تجربة.

تطوّر الدقة عبر التجارب

التدريب مقابل التحقق مقابل الاختبار.

مقاييس F1 لكل تجربة

الوحدات كما وردت في المستند المصدر.

تفاصيل التجارب

الأساس (الإعداد الافتراضي)

AFND Balanced 99,999 · LR 2e-5 · Batch 16

A_full_comprehensive_comparison.docx

الهدف

Trial 1 established a strong baseline using the default AraBERT fine-tuning configuration.

ما الذي تغيّر

الإعداد الافتراضي لضبط AraBERT — نقطة الانطلاق.

نتائج التدريب والتحقق

أفضل دقة تحقق

87.47%

أفضل F1 للتحقق

87.47%

أدنى خسارة تحقق

0.3525

دقة التدريب النهائية

93.26%

خسارة التدريب النهائية

0.1758

دقة التحقق (جدول المقارنة الشاملة)

87.33%

قيمة كما وردت في المستند المصدر — الجدول 2 يذكر 87.47%

نتائج الاختبار

دقة الاختبار

84.84%

F1 الموزون

84.70%

خسارة الاختبار

0.3613

دقة الاختبار (جدول المقارنة الشاملة)

84.83%

قيمة كما وردت في المستند المصدر — الجدول 3 يذكر 84.84%

الأداء لكل فئة

الفئة	Precision	Recall	F1
موثوق	85.12%	88.68%	86.86%
غير موثوق	86.42%	75.10%	80.36%
غير محسوم	83.27%	90.90%	86.92%

الجدول 5 في المستند المصدر يعرض دقة كل فئة (Per-Class Accuracy) وهي مطابقة لقيم Recall أعلاه.

الملاحظات كما وردت في المصدر

It achieved one of the validation accuracies (87.47%) and validation F1-scores (87.47%), indicating that the model learned the training data effectively.

However, its test accuracy (84.84%) and weighted F1-score (84.70%) were noticeably lower than its validation performance, suggesting limited generalization and a tendency toward overfitting. In addition, the model struggled to identify Not Credible articles, achieving the lowest recall (75.10%) among all trials.

أدنى recall لفئة Not Credible بين كل التجارب (75.10%)
فارق ملحوظ بين أداء التحقق وأداء الاختبار — تعميم محدود وميل لفرط التعلّم

09النتائج

لوحة الأداء

تُعرض أفضل النتائج لكل مسار على حدة، دون إعلان فائز شامل لأن المسارين غير قابلين للمقارنة المباشرة.

Track A

أفضل نتيجة في هذا المسار

المسار A — محوّل مبني من الصفر

84.37%

أفضل دقة اختبار — التجربة 6 · فجوة val→test 0.16 pp

T6 · الضبط التمييزي

Track B

أفضل نتيجة في هذا المسار

المسار B — ضبط AraBERT الدقيق

89.38%

أفضل دقة اختبار — التجربة 5

T5 · بيانات أكبر + معدل تعلّم تكيّفي

دقة التحقق مقابل دقة الاختبار

قيم منقولة حرفياً من المستند المصدر لكل تجربة.

تطوّر الدقة عبر التجارب

التدريب مقابل التحقق مقابل الاختبار.

مقاييس F1 لكل تجربة

الوحدات كما وردت في المستند المصدر.

مؤشرات المسار

أفضل دقة اختبار

84.37%

التجربة 6 · فجوة val→test 0.16 pp

أعلى دقة تحقق مفردة

85.15%

التجربة 5

إجمالي المقالات المزحوفة

606,912

134 مجلد مصدر · زحف كامل

أفضل Macro F1

0.839

التجربة 6

10مصفوفات الالتباس

أين يلتبس التصنيف فعلياً

المصفوفات المسجّلة لمسار المحوّل المبني من الصفر. قيم الخلايا كما وردت تماماً.

Blind Test set · 10,000 مقال من 24 مصدراً غير مرئي إطلاقاً — نفس مجموعة الاختبار للتجارب الثلاث

التجربة 1 · 10,000 مقال اختبار

Blind Test · 24 مصدراً غير مرئي إطلاقاً — نفس مجموعة الاختبار للتجارب 1–3

n = 10,000

الفعلي ⟍ المتوقَّع	موثوق	غير موثوق	غير محسوم
موثوق	1,472	609	2,890
غير موثوق	827	1,060	945
غير محسوم	164	525	1,508

تصنيف صحيح (القطر)التباسالصفوف = الفئة الفعلية · الأعمدة = التنبؤ

التجربة 2 · 10,000 مقال اختبار

Blind Test · نفس مجموعة الاختبار

n = 10,000

الفعلي ⟍ المتوقَّع	موثوق	غير موثوق	غير محسوم
موثوق	1,059	784	3,128
غير موثوق	706	1,239	887
غير محسوم	115	548	1,534

تصنيف صحيح (القطر)التباسالصفوف = الفئة الفعلية · الأعمدة = التنبؤ

التجربة 3 · 10,000 مقال اختبار

Blind Test · نفس مجموعة الاختبار

n = 10,000

الفعلي ⟍ المتوقَّع	موثوق	غير موثوق	غير محسوم
موثوق	1,077	779	3,115
غير موثوق	843	1,133	856
غير محسوم	146	592	1,459

تصنيف صحيح (القطر)التباسالصفوف = الفئة الفعلية · الأعمدة = التنبؤ

قراءة المصفوفات كما وردت

Credible → Undecided يهيمن على التجارب الثلاث في الاختبار الأعمى: 58–63% من كل مقال Credible حقيقي (2,890–3,128 من 4,971) يُصنَّف Undecided — النموذج يلجأ إلى «غير محسوم» أمام أساليب المصادر غير المألوفة بدل التخمين الواثق.
recall فئة Undecided يبقى الأعلى (66–70%) في التجارب الثلاث، لكن بثمن precision منخفض جداً — تتحوّل إلى سلة تجميع للمصادر غير المعروفة.
هذا النمط ينقلب تماماً في التجارب 4–6، حيث تصبح Credible أقوى الفئات وأدقّها — ما يؤكد أن عنق الزجاجة هنا هو الانتقال عبر المصادر، لا قدرة النموذج على الفصل بين الفئات الثلاث.

11النتائج البحثية

ما الذي أثبتته التجارب

الاستنتاجات منقولة من مستندات المشروع لكل مسار، دون إعادة صياغة.

Track A

المسار A — محوّل مبني من الصفر

الخلاصة الجوهرية: استقرار الضبط الدقيق — لا سعة النموذج — هو عنق الزجاجة المتبقّي بعد التجربة 4، وقد حلّته إصلاحات ديناميكيات التدريب في التجربة 6.

التجارب 5 و6 تتشاركان التقسيم العشوائي 80/10/10 على 606,912 مقالاً؛ التجربة 6 تضيف الإذابة التدريجية لكل طبقة، ومعدلات التعلّم التمييزية، وتنعيم التسميات — فتكاد تُلغي فجوة التحقق ← الاختبار التي ظهرت في التجربة 5.

أفضل نتيجة في المسار A: التجربة 6 — 84.37% دقة اختبار، فجوة val→test = 0.16 نقطة مئوية.

Track B

المسار B — ضبط AraBERT الدقيق

Dataset size was the single biggest driver of improvement — bigger than any hyperparameter change. Trials 1–4 (99,999 samples) plateaued in the 84.8–86.0% test accuracy range regardless of learning rate, dropout, or batch size adjustments. The jump to 399,999 samples in Trial 5 produced the largest single gain in the entire study: test accuracy rose from 85.67% (Trial 4) to 89.38% — a ~3.7-point jump. Note this is confounded with the adaptive LR schedule introduced simultaneously in Trial 5, so the two effects can't be fully separated from this data alone.

Learning rate reduction (2e-5 → 1e-5) was the second clearest win, and it came early. Trial 1 → Trial 2 alone improved test accuracy by ~1.2 points and Not Credible recall by nearly 5 points.

Dropout tuning produced real but inconsistent trade-offs, and stopped mattering once the data size was fixed. Across Trials 1–4, higher dropout (up to 0.7/0.6 in Trial 4) improved Not Credible recall (75.10% → 85.57%) at the direct expense of Credible recall (88.68% → 83.41%). Trials 6 and 7 show dropout barely matters anymore: 89.17% vs 89.16%.

Doubling MAX_LEN (256 → 512) is the cleanest negative result in the study. Holding dropout and dataset size constant (Trial 5 vs. Trial 6), longer context regressed overall test accuracy (89.38% → 89.17%) and cost nearly 4 points of Not Credible recall (87.01% → 83.31%), while only Undecided recall improved (91.87% → 94.06%) — at enormous compute cost.

The Credible ↔ Not Credible boundary is the one weakness that never improved, no matter what was changed. Not Credible recall never exceeded ~87–88%, while Undecided recall was consistently the strongest class (85–94% across every trial). This is most likely genuine semantic overlap between factual reporting and sophisticated misinformation, or label noise in how AFND itself draws that line.

Practical constraint: batch size 32 (Trial 2) was tried once and abandoned for the rest of the study due to GPU memory limits once the dataset scaled up — a hardware ceiling, not a modeling choice.

Across all experiments, the Undecided class consistently achieved the highest recall, indicating that the linguistic characteristics of this category were easier for AraBERT to distinguish.

12الخلاصة

الملاحظات الختامية من مستندات المشروع

Track A

المشكلة (التجربة 5)

Trial 5 (Focal Loss + freeze/unfreeze at epoch 2): reaches the highest raw validation accuracy (85.15%) but overfits sharply after unfreezing — val loss climbs from 0.161 to 0.223 over the last three epochs.

Track A

الإصلاح (التجربة 6)

Trial 6 (gradual per-layer unfreeze + discriminative LR + label smoothing): trades a little peak validation accuracy for a training curve that never diverges — and posts the best test accuracy of any trial (84.37%).

Track A

الاستنتاج الجوهري

The core finding: fine-tuning stability, not model capacity, was the remaining bottleneck after Trial 4 — and Trial 6’s training-dynamics fixes resolved it.

Track B

الأثر الأكبر — حجم البيانات

The jump to 399,999 samples in Trial 5 produced the largest single gain in the entire study: test accuracy rose from 85.67% (Trial 4) to 89.38%.

Track B

أوضح نتيجة سلبية — MAX_LEN 512

The Not Credible ↔ Undecided confusion got worse with more context, not better. This is fairly strong evidence that the confusion is a genuine label-ambiguity issue in the AFND data, not a context-length problem.

Track B

التهيئة المثلى في هذا المسار

Trial 5 delivered the best balance between optimization stability, class-wise performance, and generalization, making it the optimal AraBERT configuration for the proposed Arabic fake news detection system.

التوثيق التقني الكامل جرّب نظام التحقق إحصاءات المنصة

مستندات المشروع المرجعية

All_Trials_Report_2.pptx

A_full_comprehensive_comparison.docx

Trial_6_fixed.ipynb

Fifth_Trail_Arabic_Fake_News_Detection_Trail_5.ipynb