danfo.streamJSON
Streams a JSON file from a local or remote location in chunks. Each intermediate chunk is passed as a DataFrame to the callback function.
danfo.streamJSON(filePath, callback, options)
Parameters
Type
Description
filePath
string
URL or local file path to CSV file.
callback
Function
Callback function to be called once the specifed rows are parsed into DataFrame.
options
object
Optional configuration object. We use the
request library for reading remote json files, Hence all request parameters such as method, headers, are supported.The streamJSON function streams a JSON file from a local or remote location in chunks. Each intermediate chunk is passed as a DataFrame to the callback function.
Stream JSON file from local path
Node
1
const dfd = require("danfojs-node")
2
const path = require("path")
3
4
const filePath = path.join(process.cwd(), "raw_data", "book_small.json");
5
6
dfd.streamJSON(filePath, (df) => {
7
if (df) {
8
// Do any processing here
9
df.print();
10
}
11
});
Copied!
Output
1
//Showing the last rows
2
...
3
4
╔════════════╤═══════════════════╤═══════════════════╤═══════════════════╤═══════════════════╗
5
║ │ book_id │ title │ image_url │ authors ║
6
╟────────────┼───────────────────┼───────────────────┼───────────────────┼───────────────────╢
7
║ 10 │ 32848471 │ Egomaniac │ https://images.… │ Vi Keeland ║
8
╚════════════╧═══════════════════╧═══════════════════╧═══════════════════╧═══════════════════╝
9
10
╔════════════╤═══════════════════╤═══════════════════╤═══════════════════╤═══════════════════╗
11
║ │ book_id │ title │ image_url │ authors ║
12
╟────────────┼───────────────────┼───────────────────┼───────────────────┼───────────────────╢
13
║ 11 │ 33288638 │ Wait for It │ https://s.gr-as… │ Mariana Zapata ║
14
╚════════════╧═══════════════════╧═══════════════════╧═══════════════════╧═══════════════════╝
Copied!
Stream JSON file from remote path
Node
1
const dfd = require("danfojs-node")
2
const path = require("path")
3
4
const remoteFile = "https://raw.githubusercontent.com/opensource9ja/danfojs/dev/danfojs-node/tests/samples/book.json"
5
6
const callback = (df) => {
7
//Perform any processing here
8
if (df) {
9
df.print();
10
}
11
}
12
13
dfd.streamJSON(remoteFile, callback, { header: true })
Copied!
Output
1
//Showing a few rows
2
...
3
4
╔════════════╤═══════════════════╤═══════════════════╤═══════════════════╤═══════════════════╗
5
║ │ book_id │ title │ image_url │ authors ║
6
╟────────────┼───────────────────┼───────────────────┼───────────────────┼───────────────────╢
7
║ 10 │ 32848471 │ Egomaniac │ https://images.… │ Vi Keeland ║
8
╚════════════╧═══════════════════╧═══════════════════╧═══════════════════╧═══════════════════╝
9
10
╔════════════╤═══════════════════╤═══════════════════╤═══════════════════╤═══════════════════╗
11
║ │ book_id │ title │ image_url │ authors ║
12
╟────────────┼───────────────────┼───────────────────┼───────────────────┼───────────────────╢
13
║ 11 │ 33288638 │ Wait for It │ https://s.gr-as… │ Mariana Zapata ║
14
╚════════════╧═══════════════════╧═══════════════════╧═══════════════════╧═══════════════════╝
Copied!
Last modified 5mo ago
Copy link