این سند رایجترین مشکلاتی را که مالکان داده هنگام ایجاد مجموعه دادههای DSPL و بارگذاری آنها در Public Data Explorer تجربه میکنند پوشش میدهد.
محتوا
پرسشهای عمومی
DSPL چیست؟
DSPL مخفف Dataset Publishing Language (زبان انتشار مجموعه داده) است. این قالب نمایشی برای فراداده (اطلاعات مربوط به مجموعه داده، مانند نام و ارائهدهنده آن، و همچنین مفاهیمی که دربردارد و نمایش میدهد) و دادههای واقعی مجموعههای داده است. فراداده در XML مشخص شده است، درحالیکه دادهها در قالب CSV ارائه شدهاند.
مزایای کلیدی استفاده از DSPL چیست؟
DSPL از ابتدا برای دیداریسازیهای غنی دادهها طراحی شده است، مانند آنهایی که در کاوشگر دادههای عمومی وجود دارد. ایجاد این موارد به فرادادههای دقیق درباره برشها، ابعاد، و سنجهها نیاز دارد، نهادهایی که در قالبهای دیگر مجموعه داده بهخوبی پشتیبانی نمیشوند.
DSPL همچنین از وارد کردن مجموعه داده، سلسلهمراتب مفهومی (مثلاً «کشور» فرزند «قاره» است)، دادههای زمینکدیابیشده، و تعدادی از ویژگیهای منحصربهفرد دیگر که تجربه کاوش داده را بهبود میبخشند پشتیبانی میکند.
آیا DSPL جایگزینی برای سایر قالبهای مورداستفاده برای تبادل و/یا تجزیهوتحلیل دادهها است؟
بهطور کلی نه. همانطور که در پاسخ قبلی اشاره شد، DSPL برای دیداریسازی و کاوش تعاملی طراحی شده است. این قالب بهعنوان قالب عمومی و همهکاره برای تبادل یا تحلیل دادهها درنظر گرفته نشده است.
درنهایت، ما DSPL را بهعنوان مکمل سایر قالبها میبینیم. کاربران باید بتوانند از منابع دیگر مجموعه دادههای DSPL ایجاد کنند تا بتوانند دیداریسازیهای دادهای غنی و تعاملی ایجاد کنند.
با مجموعه داده DSPL چه کاری میتوانم انجام دهم؟
میتوانید آن را به کاوشگر دادههای عمومی وارد کنید، آن را منتشر کنید، و به دیگران اجازه دهید دادهها را ازطریق تجسمهای غنی و تعاملی کاوش کنند. مجموعه دادههای منتشرشده را میتوان در فهرست راهنمای دادههای عمومی نیز گنجاند تا کاربران علاقهمند بتوانند آنها را پیدا کنند.
درحالحاضر، این تنها برنامهای است که از DSPL استفاده میکند. بااینحال، افراد را تشویق میکنیم از آن برای برنامههای دیگر استفاده کنند و انتظار داریم که پذیرش آن درطول زمان افزایش یابد.
چه نوع مجموعه دادههایی برای DSPL مناسبتر است؟
قالب DSPL از مجموعههای دلخواه جدولها پشتیبانی میکند و بنابراین برای انواع مختلفی از مجموعه دادهها مناسب است. بااینحال، فقط زیرمجموعهای از مجموعهدادههای DSPL در «کاوشگر دادههای عمومی» مصورسازیهای جالبی تولید خواهند کرد. بهویژه محصول دوم برای دادههایی که دارای ویژگیهای زیر هستند بهترین عملکرد را دارد:
- کمی: هر نقطه داده یک یا چند سنجه عددی مرتبط با خود دارد (مثلاً «جمعیت»، «تعداد موارد آنفولانزا»، «درآمد»).
- دستهای: دادهها را میتوان در تعداد محدودی از دستههای قابلتوصیف با نوشتار (مثلاً «کشورها»، «جنسیتها»، «گروههای سنی») سازماندهی کرد.
- سری زمانی: برای هر دسته، سنجههای داده بهعنوان تابعی از زمان تغییر میکنند و نقاط مجاور حداقل یک روز باهم فاصله دارند (کاوشگر دادههای عمومی نمیتواند افزایش زمان کمتر از یک روز را تجسم کند).
- انبوهشی: برای هر ترکیب زمان / دسته / سنجه، یک نقطه داده واحد وجود دارد، نه فهرستی از رویدادها یا حقایق.
من یک مجموعه داده DSPL ایجاد کردهام و میخواهم آن را در فهرست دادههای عمومی Google نمایش دهم تا دیگران بتوانند آن را پیدا کنند. با چه کسی تماس بگیرم؟
لطفاً این فرم را تکمیل کنید و پیوند مجموعه دادهتان را ارائه دهید.
با DSPL مشکل دارم. برای دریافت راهنمایی کجا بروم؟
لطفاً مشکلتان را در تالار گفتمان DSPL پست کنید.
فایلهای مجموعه داده DSPL
چگونه باید فایلهای XML و CSV خود را کدگذاری کنم؟
همه فایلهای XML و CSV باید کدبندی UTF-8 داشته باشند. توجه داشته باشید که ASCII (گاهیاوقات به آن «نوشتار ساده» گفته میشود) زیرمجموعهای از UTF-8 است، بنابراین مجموعهدادهها در آن قالب نیز باید کار کنند.
از چه نرمافزاری باید برای ایجاد و ویرایش فایلهای مجموعه دادهام استفاده کنم؟
ویرایشگر نوشتار ساده، با برجستهسازی نحو برای خوانایی بهتر، انتخاب توصیهشده برای ویرایش فایلهای XML است؛ برای برخی توصیههای خاص پلاتفرم، این مقاله را ببینید. توصیه میکنیم از واژهپردازهای همهمنظوره با ویژگیهای کامل استفاده نکنید، زیرا این واژهپردازها معمولاً برچسبهای قالببندی اضافی را در XML شما درج میکنند که میتواند باعث بروز خطاهای وارد کردن شود.
صفحهگسترده معمولاً سادهترین راه برای ایجاد و ویرایش فایلهای داده است. فقط مطمئن شوید که آنها را در قالب صحیح (CSV / مقادیر جداشده با کاما) ذخیره کنید.
دادههایم در Excel، SPSS، SAS، یا سیستم دیگری است. آیا میتوانم اینها را مستقیماً به «کاوشگر دادههای عمومی» وارد کنم؟
نه، درحالحاضر نمیخواهم فعال شود ابتدا باید دادههایتان را به قالب CSV صادر کنید، فراداده XML مناسب را اضافه کنید، و سپس مجموعه داده سازگار با DSPL را در «کاوشگر دادههای عمومی» بارگذاری کنید.
آیا نامی که برای فایلهایم انتخاب میکنم مهم است؟
نام فایل XML مجموعهداده شما باید به .xml ختم شود.
فایلهای داده CSV مرتبط میتوانند هر نامی داشته باشند، مشروط بر اینکه با نامهای ارائهشده در برچسبهای <file> در فراداده XML شما مطابقت داشته باشند.
فایل zip مورداستفاده برای بستهبندی و وارد کردن مجموعه داده به «کاوشگر دادههای عمومی» نیز میتواند هر نامی داشته باشد.
آیا فایلهای CSV من باید مرتب شوند؟
بله. باید محتوای فایلهای CSV را براساس ابعاد غیرزمانی (به هر ترتیب یا جهتی) و سپس، بهصورت اختیاری، براساس هریک از ستونهای دیگر (مثلاً زمان) مرتب کنید.
بنابراین، برای مثال، اگر فایل CSV با ستونهای date،
dimension1، dimension2، metric1، و
metric2 دارید، باید براساس dimension1 و
dimension2 (به هر ترتیبی) مرتب کنید. اگر میخواهید براساس ستون تاریخ/زمان نیز مرتب کنید، این باید آخرین چیزی باشد که براساس آن مرتب میکنید.
مرتبسازی به این روش باعث میشود مشاهدات مربوط به هر سری زمانی باهم گروهبندی شوند که این امر کارایی فرایند وارد کردن DSPL را بهطور قابلتوجهی بهبود میبخشد.
مدل و نحو زبان نشانهگذاری توسعهپذیر
چگونه تصمیم بگیرم که چه چیزی باید سنجه باشد و چه چیزی باید بُعد باشد؟
بُعد موجودیتی است که برای بخشبندی یا فیلتر کردن دادههای شما استفاده میشود. ازسویدیگر، سنجه مقدار یا مقادیر مشاهدهشده مرتبط با هر نقطه داده را توصیف میکند.
بهطور کلی، ابعاد دستهبندیشده هستند درحالیکه سنجهها مقادیر عددی غیردستهبندیشده و متغیر با زمان هستند. چند نمونه اولیه از هرکدام در زیر آمده است:
- ابعاد: کشور، ایالت، شهرستان، منطقه، سال، ماه، جنسیت، دسته سنی، بخش صنعت
- سنجهها: جمعیت، تولید ناخالص داخلی، نرخ بیکاری، سواد، درآمد، هزینه، قیمت
تفاوت بین ویژگی و مشخصه چیست؟
ویژگیها به هر نمونه از مفهوم پیوست شدهاند. برای مثال، ویژگی
قاره برای کشورهای مختلف مقادیر متفاوتی خواهد داشت.
ازسویدیگر، مشخصهها با مفهوم بهطور کلی مرتبط هستند.
برای مثال: مشخصه isParent برای همه قارهها درست است.
آیا ترتیب برچسبها مهم است؟
بله. برچسبهایتان را بهترتیبی که در راهنمای توسعهدهندگان نشان داده شده است اضافه کنید. برای مثال، <topic> باید قبلاز <type> در تعریف مفهوم ظاهر شود.
آیا بزرگنویسی مهم است؟
بله، برچسب XML و نامهای مشخصه باید به همان شیوهای که در راهنمای توسعهدهنده ظاهر میشوند، با حروف بزرگ نوشته شوند. برای مثال، استفاده از isparent بهجای isParent در برچسب property باعث بروز خطای وارد کردن میشود.
آیا یک مفهوم میتواند دو والد داشته باشد؟
نه. هر مفهوم فقط میتواند یک مرجع isParent داشته باشد.
آیا یک مفهوم میتواند به خودش ارجاع دهد؟
بله. برای مشاهده نمونهای از سلسلهمراتب مفهوم خودارجاعی، به مجموعه دادههای فروش خردهفروشی ایالات متحده مراجعه کنید.
قالببندی دادهها
چگونه تاریخها را قالببندی کنم؟
تاریخها را میتوان در هر قالبی که با
استاندارد Joda DateTime قابلتوصیف باشد نوشت. کد قالببندی Joda باید در یک
مشخصه format در عنصر ستون جدول مربوطه
ذخیره شود.
کدهای قالببندی Joda برای برخیاز قالبهای تاریخ پرطرفدار در زیر فهرست شده است:
| نمونه تاریخ | قالب Joda |
|---|---|
| 2010 | yyyy |
| مه ۲۰۱۰ | MMM yyyy |
| ۲۰۱۰/۰۵/۲۱ | MM/dd/yyyy |
| 21/05/2010 | dd/MM/yyyy |
| 2010-05-21 | yyyy-MM-dd |
بهطور خاص، توجه داشته باشید که کد Joda برای نویسههای ماه
M است، نه m (که نشاندهنده دقیقه است).
آیا میتوانم از واحدهای زمانی کوچکتر از یک روز استفاده کنم؟
قالب Joda DateTime، و درنتیجه DSPL نیز، از مقادیر زمانی تا حد میلیثانیه پشتیبانی میکند. بااینحال، Public Data Explorer نمیتواند (هنوز) جزئیات زمانی کوچکتر از یک روز را تجسم کند.
استفاده از مفاهیم کانونی
«مفاهیم متعارف» چیست و چگونه مفید هستند؟
اصطلاح «مفاهیم متعارف» به مجموعهای از مفاهیم ایجادشده توسط Google اشاره دارد که بهعنوان «بلوکهای سازنده» پایه در سایر مجموعههای داده درنظر گرفته شدهاند. خود مفاهیم در شش مجموعه داده DSPL تعریف شدهاند که مورد اول را در دستههایی مانند «زمان»، «جغرافیا»، و غیره گروهبندی میکنند. برای دسترسی به این مفاهیم، کافی است مجموعه داده(های) والد مناسب را در ابتدای فایل DSPL XML خود وارد کنید.
مفاهیم متعارف مفید هستند زیرا به صرفهجویی در زمان کمک میکنند (مثلاً با عدم نیاز به وارد کردن دستی مقادیر عرض و طول جغرافیایی برای هر کشور در جهان) و همچنین نشان میدهند که دادههای شما چگونه باید تجسم شوند. برای
مثال، «کاوشگر دادههای عمومی» از مفاهیم time:...
برای قالببندی محور افقی نمودار خطی استفاده میکند، از ویژگی name
مفهوم entity:entity برای تولید رشتهها برای واسط کاربر انتخابگر
بُعد استفاده میکند، از ویژگیهای latitude و longitude
geo:location برای نمایش دادهها در تجسم نقشه
استفاده میکند، و غیره.
آیا همه مفاهیم متعارف توسط Public Data Explorer درک میشوند؟
درحالیکه بیشتر مفاهیم متعارف ارائهشده توسط «کاوشگر دادههای عمومی» قابلدرک هستند، چند مورد وجود دارد که (هنوز) قابلتجسم نیستند. این مشکلات در زیر بههمراه چند راهکار پیشنهادی فهرست شدهاند:
| مفهوم | راهحل موقت |
|---|---|
quantity:index |
درعوض از quantity:ratio یا quantity:magnitude
استفاده کنید. |
time:quarter |
از time:month همانطور که در DSPL Cookbook شرح داده شده است استفاده کنید. |
time:week |
از time:day همانطور که در DSPL Cookbook شرح داده شده است استفاده کنید. |
منتظر پشتیبانی بهتر از این مفاهیم در آینده باشید.
چگونه از مفهوم متعارف در مجموعه دادهام استفاده کنم؟
اسناد مربوط به مفهوم خاصی را که میخواهید استفاده کنید ببینید و همچنین کتاب راهنمای DSPL را بررسی کنید که دستورالعملهای دقیق و گامبهگام برای رایجترین مفاهیم را دارد.
وارد کردن و دیداریسازی کردن مجموعه دادهها
چرا نمیتوانم مجموعه دادهام را با موفقیت وارد کنم؟
میانای بارگذاری Public Data Explorer مجموعه داده DSPL شما را اسکن میکند و درصورت شناسایی هرگونه خطا، وارد کردن آن را مسدود میکند. واردکننده به املا، حروف بزرگ و کوچک، و ترتیب/ جای برچسب در فایل XML شما، و همچنین چیدمان و مرتبسازی دادهها در فایلهای CSV شما بسیار حساس است، بنابراین ممکن است چند بار طول بکشد تا این موارد را درست کنید و مجموعه دادههایتان را با موفقیت وارد کنید.
اولین گام برای حل این مشکلات، بررسی پیام(های) خطای ارائهشده در واسط کاربر و انجام اقدام اصلاحی مناسب است. ازآنجاییکه درک این پیامها همیشه آسان نیست (چیزی که فعالانه درحال تلاش برای بهبود آن هستیم)، جدولی را گردآوری کردهایم که رایجترین آنها را توضیح میدهد:
| خطا | توضیح |
|---|---|
| کلید تکراری: ... | جدول تعریف مفهوم شما مقدار شناسه تکراری دارد (یعنی مقدار در ستونی با نام مشابه مفهوم). از این مقادیر برای شناسایی یکتای نمونههای مجزای مفهوم استفاده میشود، بنابراین تکرار مجاز نیست. |
| استثنا در تجزیه ردیفهای داده از منبع بهدلیل ترکیب ویژگیها، [...]، در بیشاز یک گروه متمایز از ردیفها در دادهها ظاهر میشود. | CSV شما بهدرستی مرتب نشده است. برای دستورالعملهای مربوط به نحوه انجام این کار، بحث بالا را ببینید. |
| استثنا در تجزیه ردیفهای داده از منبع بهدلیل قالب نامعتبر: «...» در «...» ناهنجار است | قالببندی این مقدار (معمولاً تاریخ) در CSV شما با قالب ارائهشده در فایل XML شما مطابقت ندارد. قالب یا مقدار را تغییر دهید تا با هم مطابقت داشته باشند. |
| استثنا در تجزیه ردیفهای داده از منبع بهدلیل تعداد عناصر در خط (...) با تعداد ویژگیهای مشخصشده مطابقت نداشت (...) برای خط: [...] | یکیاز ردیفهای CSV شما مقادیر خیلی زیاد یا خیلی کمی دارد. قالببندی این ردیف را اصلاح کنید. |
| استثنا در تجزیه ردیفهای داده از منبع بهدلیل رشته ورودی: «...» | مقداری در CSV شما (معمولاً عدد صحیح یا اعشاری) دارای نویسههای غیرعددی است (برای نمونه، نماد دلار، علامت درصد، و غیره) که مانع تجزیه صحیح آن میشود. این نویسههای اضافی را بردارید. |
| استثنا در تجزیه ردیفهای داده از منبع بهدلیل مقدار داده «...» برای ویژگی «...» از «برش» «...» مقدار کلیدی «مفهوم» ارجاعشده «...» نیست. | یکیاز برشهایتان حاوی مقدار بُعد ناشناخته است (یعنی، مقداری که در فهرست همه مقادیر ممکن برای مفهوم مربوطه نباشد). به جدول تعریف مفهوم بُعد برگردید و درصورت لزوم مقدار را اضافه کنید. |
| سرصفحه «...» در دادهها ویژگی ثابتی در جدول است | سرصفحه ستون در CSV با شناسه ستون تعریفشده در تعریف جدول XML مطابقت ندارد. یکی یا دیگری را تغییر دهید تا باهم مطابقت داشته باشند. |
| خطای تجزیه XML ... محتوای نامعتبر با عنصر «...» شروع میشود. یکی از «{...}»، «{...}»، ... موردانتظار است. | عنصر XML ارجاعشده در جای درست قرار ندارد. بررسی کنید تا مطمئن شوید ترتیب درست است و همچنین عنصر دارای والد صحیح است (مثلاً info برای name). |
| خطای تجزیه XML ... مشخصه «...» مجاز نیست در عنصر «...» ظاهر شود. | املا، حروف بزرگ و کوچک، یا مکان این مشخصه برچسب XML نادرست است. برای استفاده مناسب، اسناد را بررسی کنید. |
| خطای تجزیه XML. ... عنصر «...» نمیتواند [فرزندان] نویسهای داشته باشد، زیرا نوع محتوای نوع فقط عنصر است. | نوشتار سرگردانی در فایل XML شما وجود دارد (احتمالاً بهدلیل
برچسبی که فاقد < یا > است). نوشتار را
اصلاح کنید و دوباره امتحان کنید. |
اگر در درک پیامی که در فهرست بالا نیست مشکل دارید، لطفاً پیامی در تالار گفتمان DSPL پست کنید و ما سعی میکنیم به شما کمک کنیم.
مجموعه دادههای من با موفقیت وارد میشود، اما نمیتوانم هیچ تجسمی را در «کاوشگر دادههای عمومی» نمایش دهم. چه خبر است؟
این مشکل زمانی رخ میدهد که مجموعه داده شما DSPL معتبر باشد، اما در زیرمجموعه DSPL که در Public Data Explorer قابلمشاهده است نباشد. دلایل احتمالی زیادی برای این مشکل وجود دارد؛ رایجترین آنها عبارتاند از:
- تعریف مفهوم بُعد بدون جدول: بدون این اطلاعات، «کاوشگر دادههای عمومی» نمیداند چه گزینههایی را در واسط کاربر نمایش دهد.
- ایجاد مجموعه داده فقط با سنجهها: Public Data Explorer به حداقل یک بُعد طبقهبندیشده (یعنی غیرزمانی) تعریفشده در جایی از مجموعه داده نیاز دارد تا بتواند ساختار مناسبی برای میانای کاربر دیداریسازی ایجاد کند.
- عدم گنجاندن بعد زمان در برشها: «کاوشگر دادههای عمومی» فقط میتواند سری زمانی را تجسم کند. محصول برشهای غیرزمانی را نادیده میگیرد.
- استفاده از بعد زمانی غیر از موارد
time:...متعارف: «کاوشگر دادههای عمومی» از مفاهیم متعارفtimeبرای چیدمان و پویانمایی مصورسازیهای مختلف در محصول استفاده میکند؛ این ابزار مفاهیم زمانی دیگر را درک نمیکند، مثلاً مفاهیمی که در مجموعه دادههای خودتان ایجاد شدهاند. - استفاده از مقادیر زمانی که خیلی بزرگ یا خیلی کوچک هستند: «کاوشگر دادههای عمومی» هنوز مجموعه دادههایی را که جزئیات زمانی آنها کوچکتر از یک روز است تجسم نمیکند. در سوی دیگر طیف، این ابزار با مقادیر سال بسیار بزرگ (مثلاً در حد دهها هزار) مشکل دارد. امیدواریم در آینده این جزئیات را انعطافپذیرتر کنیم.
چگونه میتوانم مجموعه دادههای دیداریشدهام را در وبسایتم ادغام کنم؟
این مقاله را در «مرکز راهنمایی کاوشگر دادههای عمومی» ببینید. همانطور که در مورد دوم توضیح داده شد، میتوانید با تنظیم دستی نشانی وب جاسازی، «جاسازی کامل» (یعنی جاسازیای که شامل کنترلهای کاوش باشد) دریافت کنید.