csvをmapping

こういうCSVがあるとき

$ cat sample.csv
a,b,c
1,2,3
10,20,30
100,200,300
1,2,3
10,20,30
100,200,300
1,2,3
10,20,30
100,200,300
1,2,3
10,20,30
100,200,300https://gist.github.com
1,2,3
10,20,30
100,200,300

このように

$ cat sample.csv | csvremap sample.js
a,b,c
1,2,3
foo,hoge,30
bar,200,300
1,2,3
foo,hoge,30
bar,200,300
1,2,3
foo,hoge,30
bar,200,300
1,2,3
foo,hoge,30
bar,200,300
1,2,3
foo,hoge,30
bar,200,300

となる、というだけのコマンド。jsonってのがなんともアレだけど、動けばいいんです動けば。わりと活躍するかもしれん。

sample.jsはこんな感じ

$ cat sample.js
 {"a":{
         "10":"foo"
       , "100":"bar"
      }
, "b":{
        "20":"hoge"
      }
}

cut,sort,uniqなんかのコマンドと相性いいかも（そらそうだろうな）。

$ cat sample.csv | csvremap sample.js | tail -n +2 | sort -nr | uniq
1,2,3
foo,hoge,30
bar,200,300

で、こうやってmap系のコマンド作ると絶対reduce系のコマンド欲しくなるな（笑）

ソース

こちら。gauche。

• csv column remapper — Gist

	#!/usr/local/bin/gosh
	(use srfi-1)
	(use text.csv)
	(use file.util)
	(use rfc.json)
	(use util.list)
	(use gauche.parseopt)
	(define (usage)
	(print "Usage: csvremap [opt ...] <mapping-table-json> <csv-file>")
	(print " h|help => print this usage")
	(print " d|delimiter => delimiter (default ,)")
	(print " t|tsv")
	(print " json spec => '{csv-column-name:{csv-column-value:substitution, ...}, ...}'")
	(exit 1))
	(define (write-csv csv port :optional (delim #\,))
	(let1 writer (make-csv-writer delim)
	(for-each (pa$ writer port) csv)))
	(define (csv->list file :optional (delim #\,))
	(port->list (make-csv-reader delim)
	(if file
	(open-input-file file)
	(current-input-port))))
	(define (file->json file)
	(parse-json-string
	(if file
	(file->string file)
	(port->string (current-input-port)))))
	(define (map-csv-columns csv table)
	(if (or (null? csv)
	(null? table))
	csv
	(let ((header (car csv))
	(csv (cdr csv)))
	(cons header
	(map (^[csv-row]
	(map (^[name val]
	(let1 table-row (assoc-ref table name)
	(let1 new-val (and table-row (assoc-ref table-row val))
	(or new-val val))))
	header csv-row))
	csv)))))
	(define (main args)
	(let-args (cdr args)
	((help "h|help" => usage)
	(delim "d|delimiter=s" ",")
	(tsv "t|tsv")
	(else (opt . _)
	(print "Unknown option : " opt)
	(usage))
	. rest)
	(when (null? rest)
	(print "wrong number of arguments. required 1, got 0.")
	(usage))
	(let* ((delim (if tsv #\tab (~ delim 0)))
	(table (file->json (and (not (null? rest))(car rest))))
	(csv (csv->list (and (not (null? (cdr rest)))
	(cadr rest)) delim)))
	(write-csv (map-csv-columns csv table)
	(current-output-port)
	delim))))

view raw csvremap.scm hosted with ❤ by GitHub

いやー、やっぱS式っていいですね。人にやさしい脳にやさしい。

追記

jsonを標準入力から受け取るようにしてたけど、引数の順序を変えてCSVを標準入力から受け取るようにした。どう考えてもCSVの方が加工されてわたってくることが多いもんな。使ってて不便だった。