Cette page pour but de présenter quelques outils pour manipuler les fichiers de grande taille dans R.
Gestion mémoire par R
- Par défaut, les données sont chargées dans la RAM, la taille de la RAM limite la taille des objets chargés dans R
- Possibilité d’utiliser des packages qui stockent les données sur le disque dur
- pour des fichiers de taille inférieure à 10Go, on peut utiliser
bigmemory
ou ff
- Pour des fichiers de taille supérieure à 10 Go, voir
Rhipe
Import et export des données
data.table
: avec les fonctions fread
et fwrite
Manipulation des données
- Package
data.table
parallel
Calcul parallélisé
Analyse de performance du code
Site internet de Kezhan SHI