1. Değerlendirme
Veri kartınız yayınlanmaya hazır olduğuna göre, şeffaflık çalışmalarınızda başarılı olmak için aşağıdaki takip işlemlerini tamamlamanız gerekir:
- Veri kartınızın okuyucularla nasıl performans gösterdiği hakkında bilgi edinmek için değerlendirme yöntemlerini kullanın.
- Okuyucularınızın ilgi alanlarıyla uyumlu olduğundan emin olmak için veri kartı çalışmalarınızın kullanımını ve benimsenmesini sistematik olarak takip edin.
Bu modülde, tamamladığınız veri kartınızı yayınladıktan sonra da başarılı olmaya devam etmek için denetlemeye yönelik bazı yaklaşımlar sunulmaktadır.
Önceki modüllerde belirtildiği gibi, veri kartı okuyucunun temel amacı veri kümesi hakkında değerlendirmeler yapmaktır. Bu nedenle, bir veri kümesinin veri kartının değerlendirilmesinde, okuyucunun veri kümesi hakkında kabul edilebilir sonuçlara başarılı bir şekilde ulaşabilip ulaşamayacağına odaklanılmalıdır.
Veri kartındaki bilgiler, okuyucunun veri kümesini kullanma deneyimiyle uyumlu olmalıdır. Bu durum, okuyucunun veri kümesinin güvenilirliği ve inanılırlığı hakkındaki inançlarını doğrudan etkiler. Dolayısıyla, veri kümesinin yazarlarının veya yayıncılarının itibarı ve veri kümesine duyulan güven de etkilenir.
Aynı şekilde, okuyucunun veri kümeniz, kuruluşunuz ve kuruluşunuz tarafından yayınlanan diğer veri kümeleri hakkındaki mevcut inançları, ne kadar kolay bulunabilir, kullanılabilir veya iyi yapılandırılmış olursa olsun, veri kartınızla nasıl etkileşim kuracağını da etkileyebilir.
Örneğin, daha önce bir kuruluş tarafından yayınlanan veri kümeleriyle ilgili olumlu deneyimler yaşayan okuyucular, aynı yazarlar tarafından yayınlanan yeni bir veri kümesine daha fazla güvenebilir. Bu durumda, okuyucunun sezgisel çıkarımlar yapma ve veri kümesini en iyi şekilde anlamak için yeni veri kartını yeterince dikkatli okumama ihtimali vardır. Özellikle de veri kümesinin eski ve benzer bir veri kümesinden nasıl farklılaştığını anlamak için.
Bu nedenle, bir Veri Kartı'nın değerlendirilmesi, okuyucuların veri kümesiyle ilgili kendi bağlamlarında kabul edilebilir sonuçlara ulaşıp ulaşamayacağını değerlendirebilecek yaklaşımlar gerektirir. Bunlar, veri kümesinin kendisiyle ilgili değerlendirmelerden farklıdır. Veri kümesiyle ilgili değerlendirmeler, beraberindeki veri kartının etkinliği hakkında fazla bilgi vermeyebilir. Bunun yerine, içeriklerinizin farklı okuyucular tarafından anlaşılıp anlaşılmadığını anlamanıza veya Veri Kartınız üzerinde yineleme yaparken okuyucularınızın hâlâ uygulanabilir analizlere ulaşıp ulaşmadığını keşfetmenize yardımcı olan bir kullanıcı çalışması gibi bir yöntemle Veri Kartınızı değerlendirmeniz gerekir. Başka bir yaklaşım da veri kartınızın kullanımını ve etkinliğini, veri kartının uygulanmasındaki kullanıcı memnuniyeti, anketler ve analizler aracılığıyla ölçmektir. Bu anlamda, bir veri kartı, veri kümenizin başarısını artırmak ve değerlendirmek için yararlı bir araştırma aracı olabilir ve aşağı akış paydaşlarınızın ihtiyaçları hakkında daha net bir fikir verebilir.
Şartlar
Bir veri kümesinin yaşam döngüsünde, her biri farklı düzeylerde veri akıcılığına, alan uzmanlığına ve gereksinimlere sahip çeşitli paydaşlar bulunur.
Şart, bir ürünün veya sürecin operasyonel, işlevsel, tasarım özelliği ya da kısıtlaması olduğunu belirten, net, test edilebilir ve ürünün veya sürecin kabul edilebilirliği için gerekli olan bir ifadedir. Veri kümenizin hedefleri, veri kümesinin yaşam döngüsündeki paydaşlar ve şeffaflık çalışmalarınızın uygulanması, veri kartınızın koşullarının ve değerlendirme ölçütlerinin belirlenmesinde rol oynar. Örneğin, birden fazla ürün yöneticisi, mühendis, veri bilimci, yapay zeka tasarımcısı ve IRB incelemecisi, bir veri kartındaki yanıtları kullanabilir. Bu durumda, iyi bir değerlendirme süreci, bu rollerin her birinin işlevsel, operasyonel, kullanılabilirlik ve güvenlik şartlarıyla doğrudan ilgili ölçütler içerir.
Özet
Farklı değerlendirme yöntemleri, bir veri kartının etkinliği hakkında farklı analizler sağlar. Oluşturma, kullanıma sunma ve sonrasında şeffaflık dokümanı sürecinde kullanılabilecek değerlendirme yöntemleri seçmek istiyorsunuz.
Bu modülde tanıtılan dört şart (işlevsel, operasyonel, kullanılabilirlik ve güvenlik) ile ikinci modülde tanıtılan boyutlar (hesap verebilirlik, fayda, kalite, kullanım sonucu ve risk/öneriler), Veri Kartınızın genel performansını okuyucuların doğrudan bakış açısıyla değerlendirmek için iyi bir başlangıç noktasıdır.
2. Gereksinimlerinizi belirleme
- Gereksinimlerinizi belirlemek için aşağıdaki tabloyu kullanın. Bu tabloda gereksinimler, değerlendirme ölçütleri ve Veri Kartınızın bu ölçütleri okuyucu ve rol açısından karşılayıp karşılamadığını belirlemenin yollarına dair örnekler yer almaktadır:
Koşul | Değerlendirme ölçütleri | Örnek |
İşlevsel | Veri kartınız, okuyucuların rollerine göre görevlerini tamamlamasına olanak tanıyor mu? | Veri kümenizi işlem hattına entegre etmek isteyen bir veri mühendisini düşünün. Veri kartınızda, veri kümesini kullanmak için gereken altyapıyı başarılı bir şekilde uygulamak üzere gerekli bilgiler var mı? |
Operational | Veri kartınız, okuyucuların veri kümesini etkili bir şekilde kullanmak için gerekli olan temel özellikleri, performans ölçülerini ve diğer ilişkili koşulları ve süreçleri belirlemesini sağlıyor mu? | Öneri sistemini veri kümenizle ince ayarlamak isteyen bir makine öğrenimi (ML) modeli geliştiricisi olduğunu düşünün. Veri kartınızda, karşılanması gereken kısıtlamaları ve performans ihtiyaçlarını belirlemek için yeterli bilgi var mı? |
Kullanılabilirlik | Okuyucular, veri kartınızda kolayca gezinebiliyor ve kartınızla kolayca etkileşim kurabiliyor mu? Veri kartınızın uygulanması temel kullanılabilirlik sezgisel yöntemlerine ve erişilebilirlik standartlarına uygun mu? | Veri kümenizi kullanmak isteyen ancak internet erişimi sınırlı olan bir öğrenci araştırmacıyı düşünün. Veri kümenizin etkileşimli ve keşif amaçlı bir görselleştirmesini veri kartınıza yerleştirmek ne tür zorluklara yol açabilir? Hangi kullanıcı arayüzü hataları, ekran okuyucunun az gören bir okuyucu için veri kartını çevirmesini engelleyebilir? |
Güvenlik | Veri kartında sağlanan bilgiler, uygulayıcıların alanlarındaki veri kümenizle ilişkili olası istenmeyen sonuçları değerlendirmesi için faydalı mı? | Sağlık gibi yüksek riskli bir alanda çalışan makine öğrenimi uzmanlarını düşünün. Veri kartınız, kötü hasta sonuçlarını önlemek için mutlaka açıklanması gereken uygun güvenlik, gizlilik, sağlamlık ve uygunluk koşullarını açıklıyor mu? |
Daha fazla bilgi için Evaluate with Readers (Okuyucularla Değerlendirme) başlıklı makaleyi inceleyin.
3. Boyutlarınızı belirleme
- Boyutlarınızı belirlemek için potansiyel bir okuyucuyu beş boyutta Veri Kartınızı değerlendirmeye davet edin ve Veri Kartınızın her bir boyutta ne kadar iyi performans gösterdiğini değerlendirmek için aşağıdaki formu kullanın:
4. Geniş ölçekte telemetri
Şeffaflığa yönelik her türlü dokümanın başarılı olması için dokümanı kullanıcı odaklı bir ürün olarak ele almanız gerekir. Uzun vadeli şeffaflık stratejileri ve farklı işlev alanlarını kapsayan geniş kapsamlı girişimler hakkında bilgi vermek için Veri Kartınızın kullanımını sistematik olarak izlemeniz gerekir. Şeffaflık çalışmalarının başarısını ölçmek için herkese uygun tek bir yaklaşım olmasa da etki izleme programınızı oluştururken şeffaflık çalışmalarınızın olgunluğu ve hedefleri, kuruluşun ölçeği veya belgelenen veri kümeleri gibi çeşitli faktörleri göz önünde bulundurabilirsiniz.
Örneğin, veri kartlarının etkinliğini ölçmek için kullanılan bazı telemetri biçimlerinin, etkileşimli veri kartlarının uygulamalarına PDF'lere kıyasla daha kolay yerleştirildiğini fark edebilirsiniz. Öte yandan, veri kartınızın etkinliğini ölçmek için kuruluşunuzdaki eksik veya terk edilmiş veri kartlarını ölçen özel mekanizmalar oluşturmanız gerekebilir.
Etkiyi ölçme
Genel olarak, bir Veri Kartı şablonunun metrikleri ve bunların benimsenmesi yedi kategoride sınıflandırılabilir: doküman hijyeni, esneklik ve kararlılık, anlaşılabilirlik, desteklenebilirlik, dönüşüm, etkileşim ve erişim. Ancak bu metrikler eşit değildir. Bağlamlarınızda dikkate alınmaları gerekir. Aşağıdaki tabloda, veri kartları ve veri kartı şablonları için bu yedi kategorinin ne zaman ve nasıl ölçüleceği listelenmekte, tanımlanmakta ve açıklanmaktadır:
Kategori | Tanım | Ne zaman ölçüm yapmalısınız? | Nasıl ölçülür? |
Belge hijyeni | Veri kümesini kullanan bir okuyucunun deneyiminin, veri kartının oluşturduğu beklentilerle ne kadar uyumlu olduğu.Veri kümesini açıklayan bir üreticinin deneyiminin, veri kartı şablonunun belirlediği beklentilerle ne kadar uyumlu olduğu. | Şablon: Veri kümesi üreticileri, Veri Kartlarını tamamladığında veya tamamladıktan hemen sonra. | Şablon: Bir veri kartı şablonunun, amaçlandığı veri kümelerini ne kadar iyi tanımladığını ölçer. Örneğin, yanıtsız soruların oranı, bir veri kümesi sınıfında sürekli olarak yanıtsız kalan soruların yüzdesini değerlendirir. |
Dayanıklılık ve kararlılık | Bir Veri Kartı şablonunun, özellikle birden fazla alanda kullanılıyorsa veya Veri Kartı farklı okuyucular tarafından okunuyorsa değişikliklere ya da eklemelere dayanabilme özelliği. | Şablon: Tamamlama sırasında veya yapımcılar Veri Kartlarını tamamladıktan hemen sonra. Özellikle lansman sonrası yapılan düzeltmelere dikkat edin. | Şablon: Şablonun, düzenleme yapılmadan, en yaygın düzenlemelerle ve yanlış yanıtlanan veya yeniden kullanılan soruların hacmiyle yakaladığı veri kümelerinin çeşitliliğini ölçer. Örneğin, düzenleme oranı, bir şablonla oluşturulan veri kartlarının sayısı ile şablonda yapılan düzenlemelerin miktarı arasındaki orandır. |
Anlaşılabilirlik | Bir üreticinin veri kartı şablonunu ne kadar iyi kullanabildiği ve yeni bir veri kartı okuyucusunun, tamamlanmış bir veri kartındaki bilgileri ne kadar verimli bir şekilde kullanabildiği. | Şablon: Veri kümesi üreticilerine, tamamlama sürecindeki kilometre taşlarında check-in'lerle doldurmaları için şablon sağlarken. | Şablon: Üreticilerin, Veri Kartı şablonunu anlama düzeyini ve bölümlerinin zorluk derecesini ölçer. Örneğin, şekillendirici çalışmalar, belirli analizler için okuyucuları proaktif olarak anketlere ve bilişsel incelemelere katılmaya davet eder. |
Desteklenebilirlik | Veri kartlarını sürdürmek için destek sağlama kapasitesi ve sağlanan destek miktarı. | Şablon: Ölçekten bağımsız olarak ve geçici olsa bile kuruluşunuzda Veri Kartları çalışması oluşturduğunuz anda. | Şablon: Bir veri kartı şablonunu tamamlayıp yayınlamak için gereken ek süreyi ve uzmanlığı ölçer. Örneğin, ofis saatlerinde katılım, veri kümesi türleri ve veri kartları oluşturan veri kümesi üreticileri için ofis saatleri veya destek programları sırasında alınan sorular ölçülür. |
Dönüşüm | Bir şablondan veri kartı oluşturup yayınlayan üreticilerin yüzdesini ve bir veri kümesi hakkında veri kartına göre karar veren okuyucuların yüzdesini izler. | Şablon: Ölçekten bağımsız olarak ve geçici olsa bile kuruluşunuzda bir Veri Kartı çalışması oluşturduğunuz anda. | Şablon: Üreticilerin veri kartı şablonlarını tamamlama başarısını ölçer. Örneğin, analizler tamamlama oranını, yayınlanma süresini ve bir Veri Kartı şablonundaki alakalı bölümlerin yüzdesini izler. |
Etkileşim | Kitlenizin, veri kartınız gibi içeriklerinizle ne kadar aktif bir şekilde etkileşimde bulunduğunu takip eder. | Şablon: Veri kartı şablonları oluşturulup kuruluşunuzda paylaşıldıktan sonra. | Şablon: Veri kümesi üreticilerinin bir Veri Kartı programına katılım ve bağlılık düzeyini ölçer. Örneğin:
Veri Kartı: Veri Kartı'nın kullanımını ve buradan bilgi oluşturulmasını ölçer.
|
Erişim | Veri kartınızı gören toplam tekil kullanıcı sayısını izler. Bu, etkileşim ve dönüşüm gibi ek metrikler için önemli bir ön koşuldur. | Şablon: Veri kartı şablonları oluşturulup kuruluşunuzda paylaşıldıktan sonra. | Şablon: Bir kuruluşun sahip olduğu veri kümelerinin sayısına kıyasla oluşturabileceği veri kartlarının sayısını ölçer. |
Daha fazla bilgi için Telemetry at Scale (Ölçekli Telemetri) başlıklı makaleyi inceleyin.
Bu telemetri metriklerinin kullanıma sunulması için farklı düzeylerde kaynak ve destek gerekebilir. Örneğin, bir veri kartının üretici dostu olup olmadığını inceleyen odak grupları, veri kartı tamamlama oranlarını kaydeden analizlere kıyasla önemli ölçüde farklı bir kaynak grubu gerektirir. Benzer şekilde, bir veri kartına gelen trafiği ölçmek, etkileşim düzeylerini açıklayan bir dizi lansman sonrası görüşmeye kıyasla nispeten daha az kaynak gerektirir. Etkiyi izlemek için hangi kategorilerin nasıl kullanılacağını belirlemek üzere kuruluşunuzdaki farklı işlevlere sahip karar vericilerle bu farklı kategorileri inceleyebilirsiniz.
Özet
Sonuç olarak, bir veri kartının etkisini ölçen metrikler, veri kartınızı tamamlama yolunda ilerlemenizi ölçen metriklerden farklıdır. Veri kümesinin olgunluğu, veri kartı metriklerini yorumlama şeklinizi değiştirebilir. Veri kümesinin olgunluğunu ve popülerliğini göz önünde bulundurun. Niceliksel, niteliksel ve anekdot niteliğindeki etkileri birlikte değerlendirin.
5. Metriklerinizi seçme
Belirtildiği gibi, bağlamınız şeffaflık hedeflerinizi karşıladığınızdan emin olmak için ihtiyacınız olan metrikleri belirler.
Metriklerinizi seçmek için aşağıdaki adımları uygulayın:
- Hedeflerinizi çeşitlendirin. Şeffaflık çalışmalarınız için ekip hedefleri belirleyin. Bu hedefler, yalnızca Veri Kartınızı tamamlama yolunda kaydettiğiniz ilerlemeyi değil, aynı zamanda kartı oluşturup yayınladıktan sonra okuyucularınız üzerindeki etkisini de değerlendirsin.
- Öncü ve gecikmeli metrikleri tanımlayın. Bir hedefe ne zaman ulaştığınızı gösteren her gecikme metriği için, hedefe katkıda bulunan kritik etkinlikleri izlemek üzere öncü metrikler belirleyin.
- Tamamlayıcı nitel çalışmalar için bir sıklık belirleyin. Kuruluşunuzda veri kartlarını ölçmek için gerekli altyapıyı oluştururken sonuçları doğrulamak ve nicel metrikleri kalibre etmek amacıyla düzenli olarak niteliksel çalışmalar yapma planı oluşturun.
- Veri ekiplerini ayrı ayrı eğitme Veri kümeleri ve veri kartları üreten ekiplerin, veri kümeleri ve veri kartları bağlamında niteliksel ve niceliksel metrikleri birlikte yorumlamasını sağlar.
6. Tebrikler
Tebrikler! Veri kartı oluşturmak için gereken her şeye sahipsiniz. Artık bilginizi test etmek için teste katılmaya hazırsınız.