মডেলটি তৈরি হওয়ার পরে, আপনাকে অবশ্যই কনভারজেন্স মূল্যায়ন করতে হবে, প্রয়োজনে মডেলটিকে ডিবাগ করতে হবে এবং তারপরে মডেলটি উপযুক্ত মূল্যায়ন করতে হবে।
অভিসার মূল্যায়ন
আপনার মডেলের অখণ্ডতা নিশ্চিত করতে সাহায্য করার জন্য আপনি মডেল কনভারজেন্স মূল্যায়ন করেন।
visualizer.ModelDiagnostics() এর অধীনে plot_rhat_boxplot কমান্ড চেইন কনভারজেন্সের জন্য Gelman & Rubin (1992) সম্ভাব্য স্কেল হ্রাস সংক্ষিপ্ত করে এবং গণনা করে, সাধারণত R-hat হিসাবে উল্লেখ করা হয়। এই কনভারজেন্স ডায়াগনস্টিকটি পরিমাপ করে যে চেইনগুলির মধ্যে পার্থক্য (মাধ্যমের) চেইনগুলিকে অভিন্নভাবে বিতরণ করা হলে আপনি যা আশা করবেন তা ছাড়িয়ে যায়৷
প্রতিটি মডেল প্যারামিটারের জন্য একটি একক R- হ্যাট মান আছে। বক্স প্লটটি সূচী জুড়ে আর-হ্যাট মানগুলির বিতরণের সংক্ষিপ্ত বিবরণ দেয়। উদাহরণস্বরূপ, beta_gm x-axis লেবেলের সাথে সম্পর্কিত বাক্সটি জিও ইনডেক্স g এবং চ্যানেল সূচক m উভয় জুড়ে R-হ্যাট মানগুলির বিতরণকে সংক্ষিপ্ত করে।
1.0 এর কাছাকাছি মান অভিসরণ নির্দেশ করে। আর-হ্যাট < 1.2 আনুমানিক অভিন্নতা নির্দেশ করে এবং অনেক সমস্যার জন্য একটি যুক্তিসঙ্গত থ্রেশহোল্ড ( Brooks & Gelman, 1998 )। অভিসারের অভাব সাধারণত দুটি অপরাধীর মধ্যে একজন থাকে। হয় মডেলটি ডেটার জন্য খুব খারাপভাবে ভুলভাবে নির্দিষ্ট করা হয়েছে, যা সম্ভাবনা (মডেল স্পেসিফিকেশন) বা পূর্বে হতে পারে। অথবা, যথেষ্ট বার্নিন নেই, মানে n_adapt + n_burnin যথেষ্ট বড় নয়।
কনভারজেন্স পেতে আপনার অসুবিধা হলে, MCMC কনভারজেন্স পাওয়া দেখুন।
একটি আর-হ্যাট বক্সপ্লট তৈরি করুন
একটি আর-হ্যাট বক্সপ্লট তৈরি করতে নিম্নলিখিত কমান্ডগুলি চালান:
model_diagnostics = visualizer.ModelDiagnostics(meridian)
model_diagnostics.plot_rhat_boxplot()
উদাহরণ আউটপুট:
ট্রেস এবং ঘনত্বের প্লট তৈরি করুন
আপনি মার্কভ চেইন মন্টে কার্লো (MCMC) নমুনার জন্য ট্রেস এবং ঘনত্বের প্লট তৈরি করতে পারেন যাতে চেইন জুড়ে অভিসার এবং স্থিতিশীলতা মূল্যায়ন করতে সহায়তা করে। ট্রেস প্লটের প্রতিটি ট্রেস MCMC অ্যালগরিদম দ্বারা উত্পন্ন মানগুলির ক্রম উপস্থাপন করে কারণ এটি পরামিতি স্থানটি অন্বেষণ করে। এটি দেখায় কিভাবে অ্যালগরিদম পরামিতিগুলির বিভিন্ন মানের মধ্য দিয়ে ক্রমাগত পুনরাবৃত্তি করে। ট্রেস প্লটে, সমতল এলাকাগুলি এড়ানোর চেষ্টা করুন, যেখানে চেইনটি একই অবস্থায় অনেক বেশি সময় ধরে থাকে বা এক দিকে অনেকগুলি পরপর ধাপ থাকে।
বাম দিকের ঘনত্বের প্লটগুলি MCMC অ্যালগরিদমের মাধ্যমে প্রাপ্ত এক বা একাধিক পরামিতির জন্য নমুনাযুক্ত মানগুলির ঘনত্ব বন্টনকে কল্পনা করে৷ ঘনত্বের প্লটে, আপনি দেখতে চান যে চেইনগুলি একটি স্থিতিশীল ঘনত্বের বন্টনে রূপান্তরিত হয়েছে।
নিম্নলিখিত উদাহরণটি দেখায় কিভাবে ট্রেস এবং ঘনত্ব প্লট তৈরি করতে হয়:
parameters_to_plot=["roi_m"]
for params in parameters_to_plot:
az.plot_trace(
meridian.inference_data,
var_names=params,
compact=False,
backend_kwargs={"constrained_layout": True},
)
উদাহরণ আউটপুট:
পূর্ববর্তী এবং পরবর্তী বিতরণ পরীক্ষা করুন
যখন ডেটাতে সামান্য তথ্য থাকে, তখন পূর্বের এবং পরবর্তী অংশ একই রকম হবে। আরও তথ্যের জন্য, দেখুন যখন পশ্চাদ্দেশ পূর্বের মত একই হয় ।
কম খরচের চ্যানেলগুলির পূর্ববর্তী ROI-এর মতো একটি ROI পোস্টেরিয়র হওয়ার জন্য বিশেষভাবে সংবেদনশীল৷ সমস্যাটির প্রতিকার করার জন্য, আমরা খুব কম খরচে চ্যানেলগুলি বাদ দেওয়ার বা MMM-এর জন্য ডেটা প্রস্তুত করার সময় অন্য চ্যানেলগুলির সাথে একত্রিত করার পরামর্শ দিই৷
প্রতিটি মিডিয়া চ্যানেলের জন্য ROI পূর্ববর্তী বিতরণের বিপরীতে ROI পোস্টেরিয়র ডিস্ট্রিবিউশন প্লট করতে নিম্নলিখিত কমান্ডগুলি চালান:
model_diagnostics = visualizer.ModelDiagnostics(meridian)
model_diagnostics.plot_prior_and_posterior_distribution()
উদাহরণ আউটপুট: ( বড় করতে ছবিতে ক্লিক করুন। )
ডিফল্টরূপে, plot_prior_and_posterior_distribution() ROI-এর জন্য পোস্টেরিয়র এবং আগে তৈরি করে। যাইহোক, আপনি plot_prior_and_posterior_distribution() এ নির্দিষ্ট মডেল প্যারামিটার পাস করতে পারেন, যেমনটি নিম্নলিখিত উদাহরণে দেখানো হয়েছে:
model_diagnostics.plot_prior_and_posterior_distribution('beta_m')
মডেল ফিট মূল্যায়ন
আপনার মডেল কনভারজেন্স অপ্টিমাইজ করার পরে, মডেল ফিট মূল্যায়ন করুন। আরও তথ্যের জন্য, পোস্ট-মডেলিং -এ মডেলের ফিট মূল্যায়ন দেখুন।
মার্কেটিং মিক্স মডেলিং (এমএমএম) এর সাথে, আপনাকে কার্যকারণ অনুমান মূল্যায়ন করতে এবং অর্থপূর্ণ ফলাফলগুলি সন্ধান করতে পরোক্ষ ব্যবস্থার উপর নির্ভর করতে হবে। এটি করার দুটি ভাল উপায় হল:
- R-squared, গড় পরসেন্টেজ ত্রুটি (MAPE), এবং ওয়েটেড মিন পরম শতাংশ ত্রুটি (wMAPE) এর জন্য চলমান মেট্রিক্স
- প্রত্যাশিত বনাম প্রকৃত আয় বা KPI-এর জন্য প্লট তৈরি করা,
kpi_typeএবংrevenue_per_kpiএর প্রাপ্যতার উপর নির্ভরশীল।
R-squared, MAPE, এবং wMAPE মেট্রিক্স চালান
মানানসই মেট্রিক্সের ভালোতা একটি আত্মবিশ্বাস পরীক্ষা হিসাবে ব্যবহার করা যেতে পারে যে মডেলের কাঠামো উপযুক্ত এবং অতিরিক্ত পরিমাপ করা হয়নি। ModelDiagnostics ফিট মেট্রিক্সের R-Squared , MAPE , এবং wMAPE ভালতা গণনা করে। যদি holdout_id মেরিডিয়ানে সেট করা থাকে, তাহলে Train এবং Test উপসেটের জন্য R-squared , MAPE এবং wMAPE কেও গণনা করা হয়। সচেতন থাকুন যে ফিট মেট্রিক্সের ভালতা হল ভবিষ্যদ্বাণীমূলক নির্ভুলতার একটি পরিমাপ, যা সাধারণত একটি MMM-এর লক্ষ্য নয়। যাইহোক, এই মেট্রিকগুলি এখনও একটি দরকারী আত্মবিশ্বাস পরীক্ষা হিসাবে কাজ করে।
R-squared, MAPE, এবং wMAPE মেট্রিক্স তৈরি করতে নিম্নলিখিত কমান্ডগুলি চালান:
model_diagnostics = visualizer.ModelDiagnostics(meridian)
model_diagnostics.predictive_accuracy_table()
উদাহরণ আউটপুট:
প্রত্যাশিত বনাম প্রকৃত প্লট তৈরি করুন
প্রত্যাশিত বনাম প্রকৃত প্লট ব্যবহার করা মডেল ফিট মূল্যায়ন করার জন্য একটি পরোক্ষ পদ্ধতি হিসাবে সহায়ক হতে পারে।
জাতীয়: প্রত্যাশিত বনাম প্রকৃত প্লট
আপনি মডেলের প্রত্যাশিত আয়ের সাথে প্রকৃত আয় বা KPI প্লট করতে পারেন বা জাতীয় স্তরে মডেল উপযুক্ত মূল্যায়নে সহায়তা করতে। বেসলাইন হল মডেলের কাউন্টারফ্যাকচুয়াল অনুমান হল রাজস্ব (বা KPI) যদি মিডিয়া এক্সিকিউশন না থাকে। প্রকৃত আয়ের যতটা সম্ভব কাছাকাছি হতে রাজস্ব অনুমান করা অগত্যা একটি MMM এর লক্ষ্য নয়, তবে এটি একটি দরকারী আত্মবিশ্বাসের পরীক্ষা হিসাবে কাজ করে।
জাতীয় ডেটার জন্য প্রকৃত আয় (বা KPI) বনাম প্রত্যাশিত রাজস্ব (বা KPI) প্লট করতে নিম্নলিখিত কমান্ডগুলি চালান:
model_fit = visualizer.ModelFit(meridian)
model_fit.plot_model_fit()
উদাহরণ আউটপুট:
জিও: প্রত্যাশিত বনাম প্রকৃত প্লট
আপনি মডেল ফিট অ্যাক্সেস করতে জিও স্তরে প্রত্যাশিত বনাম প্রকৃত প্লট তৈরি করতে পারেন। কারণ অনেক জিওস থাকতে পারে, আপনি শুধুমাত্র সবচেয়ে বড় জিও দেখাতে চাইতে পারেন।
জিওস-এর জন্য প্রকৃত আয় (বা KPI) বনাম প্রত্যাশিত রাজস্ব (বা KPI) প্লট করতে নিম্নলিখিত কমান্ডগুলি চালান:
model_fit = visualizer.ModelFit(meridian)
model_fit.plot_model_fit(n_top_largest_geos=2,
show_geo_level=True,
include_baseline=False,
include_ci=False)
উদাহরণ আউটপুট:
আপনি আপনার মডেলের সাথে সন্তুষ্ট হওয়ার পরে, মডেলের ফলাফলগুলি বিশ্লেষণ করুন ।