العربي يظهر رموز \u في JSON؟ قراءة السجلات وردود الواجهة
باختصار: إذا فتحت سجلات تطبيقك أو رد واجهة البرمجة في متجرك ووجدت اسم المنتج مكتوباً هكذا \u0645\u0646\u0633\u0641 بدل «منسف»، فالبيانات ليست تالفة. هذا ترميز صحيح في JSON، وأي برنامج يقرأ JSON سيفهمه. لكنه يصعّب قراءة السجلات والبحث فيها، ويزيد حجم الردود. في PHP أضف الثابت JSON_UNESCAPED_UNICODE إلى json_encode، وفي بايثون مرّر ensure_ascii=False إلى json.dumps، وتأكد أن الملفات والردود تُحفظ وتُرسل بترميز UTF-8.
هل هذا خطأ أصلاً؟
أول سؤال يطرحه صاحب المتجر عندما يرى هذه الرموز: هل أسماء منتجاتي ضاعت؟ الجواب لا. معيار JSON في RFC 8259 يسمح بكتابة أي حرف بصيغة \u متبوعة بأربعة أرقام ست عشرية، ويضرب المعيار مثالاً بأن الشرطة المائلة العكسية يمكن تمثيلها بـ "\u005C". عندما يقرأ تطبيق الجوال أو الموقع هذا الرد، يحوّل الرموز إلى حروف عربية عادية ويعرضها سليمة.
لذلك إذا كان التطبيق يعرض الأسماء صحيحة للزبائن، فلا يوجد عطل في العرض. المشكلة في مكان آخر: في البشر الذين يقرؤون البيانات الخام، وفي الأدوات التي تتعامل معها كنص.
متى تصبح الرموز مشكلة حقيقية؟
- قراءة السجلات: عندما يتصل زبون ويقول إن طلبه فيه «كنافة ناعمة» ولم يظهر، يفتح المطوّر السجل فلا يجد كلمة كنافة، بل سلسلة طويلة من الرموز. البحث بالكلمة العربية لا يجد شيئاً.
- الحجم: كل حرف عربي في UTF-8 يأخذ عادة بايتين، أما بصيغة \u فيأخذ ستة أحرف. في رد فيه مئات المنتجات بأسماء وأوصاف عربية، يكبر الحجم بشكل ملحوظ قبل الضغط.
- التخزين كنص: إذا خُزن JSON كما هو في عمود نصي في قاعدة البيانات، وأردت لاحقاً البحث داخله بكلمة عربية، فلن تجدها لأن المخزن رموز لا حروف.
- الربط مع أنظمة أخرى: بعض أدوات الأتمتة أو لوحات الرسائل تعرض جسم الطلب الخام كما هو، فيصل للموظف إشعار طلب جديد مليء بالرموز.
- المقارنة: يحذر RFC 8259 من أن البرامج التي تقارن النصوص دون فك الرموز قد تظن أن نصين متطابقين مختلفان. فإذا قارنت سلسلة مرمّزة بسلسلة عادية في سكربت بسيط، ستحصل على نتيجة خاطئة.
الحل في PHP
دالة json_encode ترمّز الحروف متعددة البايتات بصيغة \uXXXX افتراضياً. يوضح دليل PHP أن الثابت JSON_UNESCAPED_UNICODE يجعلها تكتب هذه الحروف كما هي. ويمكن جمعه مع JSON_UNESCAPED_SLASHES حتى لا تُكتب الروابط بشرطات مائلة مضاعفة:
echo json_encode($product, JSON_UNESCAPED_UNICODE | JSON_UNESCAPED_SLASHES);
ويذكر الدليل أيضاً JSON_UNESCAPED_LINE_TERMINATORS المتاح منذ PHP 7.1.0، المتعلق بفواصل أسطر يونيكود خاصة عند استخدام JSON_UNESCAPED_UNICODE. وإن كانت بياناتك قد تحتوي نصاً بترميز غير سليم، فهناك ثوابت مثل JSON_INVALID_UTF8_SUBSTITUTE تمنع فشل الترميز كله بسبب حرف واحد تالف، لكن الأفضل إصلاح مصدر البيانات.
الحل في بايثون
توثق بايثون أن ensure_ascii قيمتها الافتراضية True، وأن هذا يضمن ترميز كل الحروف غير ASCII. عند جعلها False تُكتب الحروف كما هي، باستثناء ما يجب ترميزه دائماً مثل علامة التنصيص والشرطة العكسية ومحارف التحكم.
json.dumps(order, ensure_ascii=False)
وإذا كنت تكتب إلى ملف، فافتحه بترميز UTF-8 صراحة، لأن الحروف العربية ستُكتب الآن كحروف حقيقية، وأي ترميز آخر قد يفشل أو يفسدها.
الترميز عند الإرسال
يشترط RFC 8259 أن يُرمّز JSON المتبادل بين أنظمة مفتوحة بـ UTF-8. ويذكر أيضاً أن نوع الوسائط application/json لا يعرّف معامل charset، وأن إضافته لا تؤثر على المستقبلات الملتزمة بالمعيار. المهم إذن أن تكون البايتات نفسها UTF-8، وهذا هو الحال إذا كانت قاعدة البيانات والاتصال بها والكود كلها تعمل بهذا الترميز. إذا ظهرت بعد التعديل علامات استفهام أو حروف غريبة بدل العربية، فالمشكلة في ترميز إحدى هذه الحلقات، لا في JSON.
لا تغيّر كل شيء دفعة واحدة
إذا كان تطبيقك يعمل منذ مدة، فتغيير شكل الرد قد يفاجئ نظاماً آخر يعتمد عليه. قبل التعديل:
- اعرف من يستهلك هذا الرد: تطبيق الجوال، لوحة التحكم، شركة التوصيل، أداة التقارير.
- تأكد أن كل مستهلك يقرأ JSON بمكتبة حقيقية لا بالبحث في النص. المكتبات تفهم الصيغتين.
- ابدأ بالسجلات، فهي للقراءة البشرية وتعديلها آمن غالباً، ثم انتقل إلى الردود.
- إذا كان هناك سكربت قديم يبحث عن «\u0645» في النص، فهو سيتوقف عن العمل. ابحث عن هذا قبل النشر.
السجلات: اجعلها قابلة للبحث بالعربي
أكثر فائدة عملية لهذا التعديل تظهر عند الدعم الفني. عندما يُكتب اسم الزبون والمنطقة واسم الصنف بالعربية في السجل، يستطيع الموظف البحث عن «مرج الحمام» أو «شاورما عربي» ويجد الطلبات فوراً. وحتى تبقى السجلات آمنة، لا تكتب فيها بيانات حساسة مثل كلمات المرور أو رموز الدفع، سواء كانت مرمّزة أو لا، فالترميز لا يخفي شيئاً.
متى تترك الترميز كما هو؟
هناك حالات يكون فيها الترميز مفيداً. إذا كان نظام قديم يستقبل بياناتك ولا يتعامل إلا مع حروف ASCII، فالأسلم أن يبقى الرد مرمّزاً له وحده. وإذا كنت تضع JSON داخل وسم script في صفحة HTML، فالخطر ليس في الحروف العربية بل في علامات مثل < و>. يذكر دليل PHP الثابت JSON_HEX_TAG الذي يحوّل هذه العلامات إلى رموز \u، ويمكن استخدامه مع JSON_UNESCAPED_UNICODE معاً، فتبقى العربية مقروءة والعلامات الخطرة مرمّزة.
خطوات فحص سريعة
- افتح رد الواجهة في المتصفح أو بأداة طلبات، وابحث عن \u06 في النص، فهذه بداية رموز الحروف العربية.
- حدد الدوال التي تنتج هذا الرد أو السجل.
- أضف الخيار المناسب للغة البرمجة، واختبر صفحة واحدة.
- افتح التطبيق وتأكد أن الأسماء والأوصاف تظهر كما كانت.
- ابحث في السجل الجديد بكلمة عربية للتأكد.
مثال توضيحي: مطعم وتطبيق طلبات وسجل لا يُقرأ
لنفترض مطعماً في عمّان له تطبيق طلبات، والموظف يراجع سجل الطلبات عند الشكاوى، لكن الأسماء تظهر رموزاً. راجع المطوّر من يقرأ رد الواجهة، فوجد أن التطبيق ولوحة التحكم يستخدمان مكتبات JSON عادية. أضاف JSON_UNESCAPED_UNICODE إلى السجلات أولاً، ثم إلى الردود بعد اختبار التطبيق، وتحقق أن الاتصال بقاعدة البيانات بترميز UTF-8.
هذا مثال توضيحي لطريقة المعالجة، دون أرقام أو نتائج مقاسة.
أسئلة شائعة
ليش أسماء المنتجات بالـ API طالعة رموز \u؟
لأن مكتبة JSON ترمّز الحروف غير اللاتينية افتراضياً. هذا صحيح تقنياً، والتطبيق يفهمه، لكنه صعب القراءة.
هل التطبيق رح يخرب إذا شلت الترميز؟
لا، إذا كان يقرأ JSON بمكتبة حقيقية، لأنها تفهم الصيغتين. تحقق من أي سكربت يبحث في النص الخام.
طلعت علامات استفهام بعد التعديل، ليش؟
لأن إحدى الحلقات لا تعمل بـ UTF-8: قاعدة البيانات أو الاتصال بها أو الملف. JSON نفسه ليس السبب.
هل بقلّ حجم الرد فعلاً؟
نعم، لأن الحرف العربي بايتان تقريباً في UTF-8 بدل ستة أحرف، وقد يصغر الفرق إذا كانت الردود مضغوطة.
إذا كانت سجلات تطبيقك أو ردوده تعرض العربية رموزاً، تواصل معنا ونرتبها معك دون أن يتأثر التطبيق.