Au sens strict du terme, ce n’est pas du Big data, mais aujourd’hui, un fichier csv de 1Go peut être grand à traiter. Cette page pour but de présenter quelques outils pour manipuler les fichiers de grande taille dans R.

Gestion mémoire par R

Par défaut, les données sont chargées dans la RAM, la taille de la RAM limite la taille des objets chargés dans R
Possibilité d’utiliser des packages qui stockent les données sur le disque dur
pour des fichiers de taille inférieure à 10Go, on peut utiliser bigmemory ou ff
Pour des fichiers de taille supérieure à 10 Go, voir Rhipe