Open-Science-TrainingHandbook_EL

This will be the Greek version of the handbook.

View the Project on GitHub Open-Science-Training-Handbook/Open-Science-TrainingHandbook_EL

4. Αναπαραγώγιμη Έρευνα και Ανάλυση Δεδομένων

Τι είναι;

Αναπαραγωγιμότητα σημαίνει ότι τα δεδομένα της έρευνας και ο κώδικας καθίστανται διαθέσιμοι έτσι ώστε οι υπόλοιποι να έχουν τη δυνατότητα να φτάσουν στα ίδια αποτελέσματα με αυτά που υποστηρίζονται σε επιστημονικά έργα. Πολύ σχετική είναι και η έννοια της αντιγραψιμότητας, δηλαδή η ενέργεια της επανάληψης μιας επιστημονικής μεθοδολογίας για να επιτευχθούν παρόμοια αποτελέσματα. Αυτές οι έννοιες είναι τα βασικά στοιχεία της εμπειρικής έρευνας.

Η βελτίωση της αναπαραγωγιμότητας οδηγεί σε αύξηση στην ακρίβεια και στην ποιότητα των επιστημονικών αποτελεσμάτων, και συνεπώς σε μεγαλύτερη εμπιστοσύνη στην επιστήμη. Υπάρχει μια αυξανόμενη ανάγκη και προθυμία να εκτίθεται η ροή των εργασιών της έρευνας, από την δημιουργία ενός έργου και τη συλλογή δεδομένων, μέχρι και την ερμηνεία και την κοινοποίηση των αποτελεσμάτων. Αυτές οι εξελίξεις έχουν τις δικές τους προκλήσεις, συμπεριλαμβανομένου του σχεδιασμού ολοκληρωμένων ροών εργασιών έρευνας που μπορούν να υιοθετηθούν από τους συνεργάτες διατηρώντας υψηλά επίπεδα ακεραιότητας.

Η έννοια της αναπαραγωγιμότητας εφαρμόζεται άμεσα στην επιστημονική μέθοδο, τον ακρογωνιαίο λίθο της Επιστήμης, και συγκεκριμένα στα παρακάτω πέντε βήματα:

  1. Διατύπωση μιας υπόθεσης

  2. Σχεδιασμός της μελέτης

  3. Διεξαγωγή της μελέτης και συλλογή των δεδομένων

  4. Ανάλυση των δεδομένων

  5. Κοινοποίηση της μελέτης

Καθένα από αυτά τα βήματα θα πρέπει να δηλώνεται σαφώς με την παροχή ξεκάθαρης και ανοικτής τεκμηρίωσης που καθιστούν την μελέτη διαφανή και αναπαραγώγιμη.

Το σκεπτικό

Γενικοί παράγοντες μπορούν να συνεισφέρουν περαιτέρω στις αιτίες της μη αναπαραγωγιμότητας, αλλά μπορεί επίσης να οδηγήσουν την εφαρμογή συγκεκριμένων μέτρων για την αντιμετώπιση αυτών των αιτιών. Η κουλτούρα και το περιβάλλον μέσα στα οποία διεξάγεται η έρευνα είναι ένας σημαντικός «από την κορυφή στην βάση» γενικός παράγοντας. Από μία προσέγγιση «από τη βάση προς την κορυφή», η διαρκής επιμόρφωση και μάθηση για τους/τις ερευνητές/τριες μπορούν να αυξήσουν την επίγνωση και τη διάδοση ορθών πρακτικών.

Παρόλο που κατανοούμε ότι το πλήρες εύρος των παραγόντων που συνεισφέρουν στην αναπαραγωγιμότητα είναι σημαντικό, είναι δύσκολο να κατανείμουμε αυτούς τους παράγοντες σε βήματα που μπορούν αμέσως να υιοθετηθούν σε ένα υπάρχον ερευνητικό πρόγραμμα και αμέσως να βελτιώσουν την αναπαραγωγιμότητά του. Ένα από τα πρώτα βήματα είναι η εκτίμηση της τρέχουσας κατάστασης και ο εντοπισμός βελτιώσεων κατά τη διάρκεια των βημάτων ώστε να αυξηθεί η αναπαραγωγιμότητα ακόμα περισσότερο. Μερικά από τα πιο κοινά ζητήματα της αναπαραγωγιμότητας της έρευνας φαίνονται στην παρακάτω εικόνα.

Πηγή: Reproducibility and reliability of biomedical research: improving research practice.

Οι Goodman, Fanelli, & Ioannidis (2016) σημειώνουν ότι στην επιδημιολογία, την υπολογιστική βιολογία, τα οικονομικά και τις κλινικές δοκιμές, η αναπαραγωγιμότητα ορίζεται ως εξής:

η ικανότητα μιας ερευνήτριας να αναπαράγει τα αποτελέσματα μιας προηγούμενης μελέτης χρησιμοποιώντας τα ίδια υλικά που είχαν χρησιμοποιηθεί από την αρχική ερευνήτρια. Που σημαίνει, ότι μια δεύτερη ερευνήτρια μπορεί να χρησιμοποιήσει τα ίδια ανεπεξέργαστα δεδομένα για να φτιάξει τα ίδια αρχεία ανάλυσης και να εφαρμόσει την ίδια στατιστική ανάλυση σε μία προσπάθεια να φτάσει στα ίδια αποτελέσματα.

Αυτό είναι ξεχωριστό από την αντιγραψιμότητα:

που αναφέρεται στην ικανότητα μιας ερευνήτριας να αναπαράγει τα αποτελέσματα μιας προηγούμενης μελέτης εάν ακολουθήσει την ίδια διαδικασία αλλά συλλέγοντας καινούργια δεδομένα.

Ένας απλούστερος τρόπος για να το σκεφτούμε είναι ότι η αναπαραγωγιμότητα είναι προσανατολισμένη στη μέθοδο, ενώ η αντιγραψιμότητα στα αποτελέσματα.

Η αναπαραγωγιμότητα μπορεί να αξιολογηθεί σε πολλά διαφορετικά επίπεδα: σε επίπεδο ενός μεμονωμένου έργου (π.χ. μια ανακοίνωση, ένα πείραμα, μία μέθοδο ή ένα σύνολο δεδομένων), μιας μεμονωμένης ερευνήτριας, μιας εργαστηριακής ή ερευνητικής ομάδας, ενός ιδρύματος, ή ακόμα ενός ερευνητικού πεδίου. Κάπως διαφορετικά είδη κριτηρίων και σημείων αποτίμησης μπορεί να εφαρμόζονται σε αυτά τα διαφορετικά επίπεδα. Για παράδειγμα, ένα ίδρυμα διατηρεί πρακτικές αναπαραγωγιμότητας εάν εδραιώνει πολιτικές που ανταμείβουν τους ερευνητές οι οποίοι εκτελούν αναπαραγωγική έρευνα. Από την άλλη, ένα ερευνητικό πεδίο μπορεί να θεωρηθεί ότι έχει υψηλό επίπεδο αναπαραγωγιμότητας εάν αναπτύσσει πόρους που υιοθετούνται από την κοινότητα που προωθούν και επιτρέπουν τις πρακτικές αναπαραγώγιμης έρευνας, όπως αποθετήρια δεδομένων ή κοινά πρότυπα διαμοιρασμένων δεδομένων.

Μαθησιακοί στόχοι

Υπάρχουν τρεις σημαντικοί στόχοι που πρέπει να αναφερθούν εδώ:

  1. Κατανόηση του σημαντικού αντίκτυπου που έχει η δημιουργία αναπαραγώγιμης έρευνας.

  2. Κατανόηση της συνολικής διαμόρφωσης της αναπαραγώγιμης έρευνας (συμπεριλαμβανομένων του σχεδιασμού ροής εργασιών, της διαχείρισης δεδομένων και της δυναμικής έκθεσης).

  3. Επίγνωση των μεμονωμένων βημάτων κατά της διαδικασίας αναπαραγωγιμότητας, καθώς και των σχετικών πηγών που μπορεί να χρησιμοποιηθούν.

Κύρια συστατικά

Γνώση

Τα παρακάτω είναι μία ενδεικτική λίστα σημείων που πρέπει να συγκρατήσουμε για την αναπαραγωγιμότητα:

Δεξιότητες

Υπάρχουν αρκετές πρακτικές συμβουλές για την αναπαραγωγιμότητα που θα έπρεπε κάποια να έχει υπόψη της όταν θέτει τις συγκεκριμένες δεξιότητες που είναι αναγκαίες για να την εξασφαλίζουν. Οι ορθές πρακτικές για την αναπαραγωγιμότητα δανείζονται γενικώς από την Ανοικτή Επιστήμη, αλλά η ολοκλήρωσή τους, προσφέρει οφέλη στους μεμονωμένους ερευνητές, είτε επιλέγουν να μοιραστούν την έρευνά τους, είτε όχι. Ο λόγος που οι ορθές πρακτικές της ολοκληρωμένης αναπαραγωμότητας ωφελούν την μεμονωμένη ερευνήτρια είναι ότι βελτιώνουν τον σχεδιασμό, την οργάνωση και την τεκμηρίωση της έρευνας. Παρακάτω περιγράφεται ένα παράδειγμα εφαρμογής της αναπαραγωγιμότητας σε μία ροή εργασιών έρευνας με αναφορές σε αυτές τις πρακτικές που περιγράφονται στο εγχειρίδιο.

**1. Πριν ξεκινήσεις, σχεδίασε για την αναπαραγωγιμότητα **
Να δημιουργείς ένα πλάνο μελέτης ή ένα πρωτόκολλο

Να ξεκινάς την τεκμηρίωση στην αρχή της μελέτης γράφοντας ένα πλάνο μελέτης ή ένα πρωτόκολλο που θα περιλαμβάνει τον προτεινόμενο σου σχεδιασμό μελέτης και τις μεθόδους. Εάν είναι εφικτό, χρησιμοποίησε έναν οδηγό αναφοράς από το Equator Network. Να σημειώνεις τις αλλαγές στο πλάνο μελέτης σου ή στο πρωτόκολλο χρησιμοποιώντας τον έλεγχο έκδοσης (βλέπε Έλεγχος Έκδοσης). Να υπολογίζεις την ισχύ ή το μέγεθος του δείγματος που απαιτείται και να αναφέρεις αυτόν τον υπολογισμό στο πρωτόκολλό σου καθώς μελέτες μικρής ισχύος είναι επιρρεπής σε μη αναπαραγωγιμότητα.

Να επιλέγεις αναπαραγώγιμα εργαλεία και υλικά

Να επιλέγεις τα αντισώματα που λειτουργούν χρησιμοποιώντας μια μηχανή αναζήτησης αντισωμάτων όπως το CiteAb. Να αποφεύγεις την μη αναπαραγωγιμότητα μέσα από λανθασμένες κυτταρικές γραμμές επιλέγοντας αυτές που είναι πιστοποιημένες από την International Cell Line Authentication Committee. Να επιλέγεις, όπου αυτό είναι εφικτό, εργαλεία λογισμικού και υλικού μέρους στα οποία να διατηρείς την κυριότητα της έρευνάς σου και να μπορείς να μεταφέρεις την έρευνα σου εκτός πλατφόρμας για να την επαναχρησιμοποιήσεις (βλέπε Λογισμικό Ανοικτής Έρευνας και Ανοικτή Πηγή).

Να διαμορφώνεις ένα αναπαραγώγιμο έργο

Να συγκεντρώνεις και να οργανώνεις την διαχείριση του έργου σου χρησιμοποιώντας μια διαδικτυακή πλατφόρμα, ένα κεντρικό αποθετήριο, ή ένα φάκελο για όλα τα αρχεία της έρευνας. Θα μπορούσες να χρησιμοποιήσεις το GitHub ως ένα μέρος αποθήκευσης των αρχείων του έργου μαζί, ή να διαχειριστείς τα πάντα χρησιμοποιώντας ένα ηλεκτρονικό εργαστηριακό σημειωματάριο όπως το Benchling, Labguru, ή το SciNote. Μέσα στο κεντρικό σου έργο, ακολούθησε ορθές πρακτικές διαχωρίζοντας τα δεδομένα σου από τον κώδικά σου σε διαφορετικούς φακέλους. Κάνε τα ανεπεξέργαστα δεδομένα μόνο για ανάγνωση και κράτα τα ξεχωριστά από τα επεξεργασμένα δεδομένα (βλέπε Διαχείριση Δεδομένων)

Όταν αποθηκεύεις και δημιουργείς αντίγραφα ασφαλείας για τα αρχεία της έρευνας, να επιλέγεις μορφότυπους και κατατοπιστικά ονόματα αρχείων που επιτρέπουν την επαναχρησιμοποίηση. Τα ονόματα των αρχείων πρέπει να είναι αναγνώσιμα εξίσου από υπολογιστή και άνθρωπο (βλέπε Διαχείριση Δεδομένων). Για την ανάλυση και τον κώδικα του λογισμικού, χρησιμοποίησε σχετικές διαδρομές. Να αποφεύγεις αποκλειστικά μορφότυτα αρχείων και χρησιμοποίησε ανοικτά μορφότυπα αρχείων (βλέπε 6 Ανοικτή Αδειοδότηση και Μορφότυπα Αρχείων)

2. Να παρακολουθείς τα πράγματα
Καταχώρηση

Να προκαταχωρείς σημαντικές πληροφορίες σχετικές με τον σχεδιασμό της μελέτης και την ανάλυση ώστε να αυξήσεις την διαφάνεια και να αντιμετωπίσεις τη μεροληπτική δημοσίευση αρνητικών αποτελεσμάτων. Ελεύθερα εργαλεία θα σε βοηθήσουν να κάνεις την πρώτη σου καταχώρηση συμπεριλαμβανομένων των AsPredicted, Open Science Framework, και Registered Reports. Για κλινικές δοκιμές χρησιμοποίησε το Clinicaltrials.gov.

Έλεγχος έκδοσης

Παρακολούθησε τις αλλαγές των αρχείων σου, ειδικά την ανάλυση κώδικα, χρησιμοποιώντας τον έλεγχο έκδοσης (βλέπε Λογισμικό Ανοικτής Έρευνας και Ανοικτή Πηγή)

Τεκμηρίωση

Να τεκμηρίωνεις οτιδήποτε γίνεται πρόχειρα σε ένα αρχείο README. Δημιούργησε ένα λεξιλόγιο δεδομένων (γνωστό και ως βιβλίο κώδικα) για να περιγράφεις σημαντικές πληροφορίες για τα δεδομένα σου. Για μια εύκολη εισαγωγή στο θέμα, χρησιμοποίησε: Karl Broman’s Data Organization module και βλέπε στο Διαχείριση Δεδομένων.

Εγγράμματος προγραμματισμός

Σκέψου να χρησιμοποιήσεις τα Jupyter Notebooks, KnitR, Sweave, ή άλλες προσεγγίσεις για εγγράμματο προγραμματισμό για να ενσωματώσεις τον κώδικα με την θεωρία και την τεκμηρίωση.

3. Μοιράσου και αδειοδότησε την έρευνά σου
Δεδομένα

Να αποφεύγεις τα συμπληρωματικά αρχεία, αποφάσισε για μία αποδεκτά επιτρεπτική άδεια, και μοιράσου τα δεδομένα σου χρησιμοποιώντας ένα αποθετήριο. Ακολούθησε ορθές πρακτικές όπως αναφέρονται στο κεφάλαιο για τα Δεδομένα Ανοικτής Έρευνας και Υλικών.

Υλικά

Κοινοποίησε τα υλικά σου ώστε να μπορούν να ξαναχρησιμοποιηθούν. Να καταθέτεις τα αντιδραστήρια σε αποθετήρια όπως τα Addgene, The Bloomington Drosophila Stock Center, και ATCC για να τα κάνεις εύκολα προσβάσιμα σε άλλους ερευνητές. Για περισσότερες πληροφορίες, βλέπε στην υποενότητα Ανοικτά Υλικά της ενότητας Δεδομένα Ανοικτής Έρευνας και Υλικά.

Λογισμικό, σημειωματάρια και αρχεία κοντέινερ

Αδειοδότησε τον κώδικα σου για να δώσεις πληροφορίες για το πως μπορεί να (επανα)χρησιμοποιηθεί. Μοιράσου τα σημειωματάρια με υπηρεσίες όπως το mybinder που επιτρέπει την δημόσια προβολή και εκτέλεση ολόκληρου του σημειωματάριου σε διαμοιρασμένες πηγές. Μοιράσου τα αρχεία κοντέινερ ή τα σημειωματάρια με υπηρεσίες όπως τα Rocker ή το Code Ocean. Ακολούθησε τις ορθές πρακτικές όπως περιγράφονται στο Λογισμικό Ανοικτής Έρευνας και Ανοικτή Πηγή.

4. Να αναφέρεις την έρευνά σου με διαφάνεια

Να αναφέρεις και να δημοσιεύεις τις μεθόδους σου και τις παρεμβάσεις σου ρητώς, ξεκάθαρα και ολοκληρωμένα ώστε να είναι δυνατή η αναπαραγωγή. Οδηγίες από το Equator Network, εργαλεία όπως το Protocols.io, ή διαδικασίες όπως το Registered Reports μπορεί να σε βοηθήσουν να κάνεις αναπαραγώγιμες αναφορές. Θυμήσου να αναρτάς τα αποτελέσματά σου στις σχετικές πλατφόρμες δημόσιας καταχώρησης (όπως το ClinicalTrials.gov ή το SocialScienceRegistry) μέσα σε ένα χρόνο από την ολοκλήρωση της μελέτης σου, ανεξαρτήτως από τη φύση ή την κατεύθυνση των αποτελεσμάτων σου.

Ερωτήσεις, εμπόδια, και κοινές παρανοήσεις

Ε: «Όλα είναι στο χαρτί. Οποιαδήποτε μπορεί να το αναπαράγει από εκεί!»

Α: Αυτή είναι μία από τις πιο κοινές παρανοήσεις. Ακόμα και αν έχεις μια εξαιρετικά λεπτομερή περιγραφή της μεθοδολογίας και της ροής εργασιών που χρησιμοποιούνται για να καταλήξεις στο τελικό αποτέλεσμα, δεν είναι αρκετό στις περισσότερες περιπτώσεις να το αναπαράγεις. Αυτό μπορεί να οφείλεται σε αρκετές πτυχές, συμπεριλαμβανομένων διαφορετικών υπολογιστικών περιβαλλόντων, διαφορών στις παραλλαγές του λογισμικού, υπόρρητες μεροληψίες, που δεν ήταν σαφώς δηλωμένες, κλπ.

Ε: «Δεν έχω το χρόνο να μάθω και να καθιερώσω μια αναπαραγώγιμη ροή εργασιών.»

Α: Εκτός από ένα σημαντικό αριθμό ελεύθερα διαθέσιμων διαδικτυακών υπηρεσιών που μπορούν να συνδυαστούν και να διευκολύνουν την διαμόρφωση μιας ολόκληρης ροής εργασιών, το να σπαταλάς χρόνο και προσπάθεια για να τα βάλεις όλα μαζί θα αυξήσει τόσο την επιστημονική εγκυρότητα των τελικών αποτελεσμάτων και παράλληλα θα ελαχιστοποιήσει τον χρόνο επανάληψης ή επαναχρησιμοποίησής τους σε μελλοντικές μελέτες.

Ε: «Η ορολογία που περιγράφει την αναπαραγωγιμότητα είναι απαιτητική.»

Α: Βλέπε την Barba (2018) για μία συζήτηση για την ορολογία που περιγράφει την αναπαραγωγιμότητα και την αντιγραψιμότητα.

Μαθησιακά αποτελέσματα

  1. Να κατανοήσεις την αναγκαιότητα της αναπαραγώγιμης έρευνας και του σκεπτικού της.

  2. Να μπορείς να καθιερώσεις μια αναπαραγώγιμη ροή εργασιών μέσα στο πλαίσιο μιας περίπτωσης.

  3. Να μάθεις τα εργαλεία που μπορεί να υποστηρίξουν την αναπαραγώγιμη έρευνα.

Βιβλιογραφία