Cette page pour but de présenter quelques outils pour manipuler les fichiers de grande taille dans R.

1 Gestion mémoire par R

  • Par défaut, les données sont chargées dans la RAM, la taille de la RAM limite la taille des objets chargés dans R
  • Possibilité d’utiliser des packages qui stockent les données sur le disque dur
  • pour des fichiers de taille inférieure à 10Go, on peut utiliser bigmemory ou ff
  • Pour des fichiers de taille supérieure à 10 Go, voir Rhipe

2 Import et export des données

data.table : avec les fonctions fread et fwrite

3 Manipulation des données

  • Package data.table
  • parallel

4 Calcul parallélisé

5 Analyse de performance du code


Site internet de Kezhan SHI