Symfoware

Python

import codecs
import mysql.connector
def mystrip(s):
    return s.strip('"')
con = mysql.connector.connect(
    host = 'localhost',
    port = 3306,
    user = 'admin',
    password = 'P@ssw0rd',
    database = 'sample',
)
con.autocommit = False
cur = con.cursor()
zipcodeSet = set()
with codecs.open('KEN_ALL.CSV', 'r', 'CP932') as f:
    for line in f:
        # カンマで分割
        data = line.strip().split(',')
        # 2番目：郵便番号
        zipcode = mystrip(data[2])
        # 6,7,8番目：住所
        address = mystrip(data[6]) + mystrip(data[7]) + mystrip(data[8])
        # 郵便番号の重複チェック
        if zipcode in zipcodeSet:
            print("skip " + zipcode)
            continue
        zipcodeSet.add(zipcode)
        # 登録実行
        cur.execute("INSERT INTO post (zip_code, address) VALUES (%s, %s)", (zipcode, address))
con.commit()
cur.close()
con.close()

実測

関連記事

• Nim デバッグビルドとリリースビルドの実行速度
• Nim トランザクションを使用し、郵便番号と住所情報をMySQLに登録する
• Nim HashSetの使い方
• Nim MySQLに文字コードを指定して接続し、データの検索、登録を行う(db_mysql)
• Nim リスト内包表記

テーマ:プログラミング - ジャンル:コンピュータ

1. 2018/08/27(月) 23:32:12|
2. nim
3. | トラックバック:0
4. | コメント:0
5. | 編集

ファイルの読み込みと重複排除

データベース接続と登録

CREATE TABLE post (
zip_code CHAR(7) NOT NULL PRIMARY KEY,
address VARCHAR(255) NOT NULL
);

サンプル

import strutils
import encodings
import sets
import db_mysql
proc mystrip(s: string):string =
    return strip(s, chars={'"'})
proc main() =
    let enc = encodings.open("UTF-8", "CP932")
    let f : File = open("KEN_ALL.CSV" ,FileMode.fmRead)
    let db = open("localhost", "root", "P@ssw0rd", "sample")
    discard setEncoding(db, "utf8mb4")
    
    defer:
        close(enc)
        close(f)
        db.close()
    var zipcodeSet = initSet[string]()
    while not f.endOfFile:
        # 1行読み込み
        let line = enc.convert(f.readLine)
        # カンマで分割
        let data = split(line, ',')
        # 2番目：郵便番号
        let zipcode = mystrip(data[2])
        # 6,7,8番目：住所
        let address = mystrip(data[6]) & mystrip(data[7]) & mystrip(data[8])
        # 郵便番号の重複チェック
        if zipcode in zipcodeSet:
            echo "skip " & zipcode
            continue
        zipcodeSet.incl(zipcode)
        # 登録実行
        db.exec(sql"INSERT INTO post (zip_code, address) VALUES (?, ?)", zipcode, address)
main()

トランザクション

import strutils
import encodings
import sets
import db_mysql
proc mystrip(s: string):string =
    return strip(s, chars={'"'})
proc main() =
    let enc = encodings.open("UTF-8", "CP932")
    let f : File = open("KEN_ALL.CSV" ,FileMode.fmRead)
    # データベースに接続し文字コードをセット
    let db = open("localhost", "root", "P@ssw0rd", "sample")
    discard setEncoding(db, "utf8mb4")
    # トランザクション開始
    db.exec(sql"START TRANSACTION")
    defer:
        close(enc)
        close(f)
        db.close()
    var zipcodeSet = initSet[string]()
    while not f.endOfFile:
        # 1行読み込み
        let line = enc.convert(f.readLine)
        # カンマで分割
        let data = split(line, ',')
        # 2番目：郵便番号
        let zipcode = mystrip(data[2])
        # 6,7,8番目：住所
        let address = mystrip(data[6]) & mystrip(data[7]) & mystrip(data[8])
        # 郵便番号の重複チェック
        if zipcode in zipcodeSet:
            echo "skip " & zipcode
            continue
        zipcodeSet.incl(zipcode)
        # 登録実行
        db.exec(sql"INSERT INTO post (zip_code, address) VALUES (?, ?)", zipcode, address)
    db.exec(sql"COMMIT")
main()

関連記事

• Nim デバッグビルドとリリースビルドの実行速度
• Nim トランザクションを使用し、郵便番号と住所情報をMySQLに登録する
• Nim HashSetの使い方
• Nim MySQLに文字コードを指定して接続し、データの検索、登録を行う(db_mysql)
• Nim リスト内包表記

テーマ:プログラミング - ジャンル:コンピュータ

1. 2018/08/27(月) 22:55:44|
2. nim
3. | トラックバック:0
4. | コメント:0
5. | 編集

sets

import sets
var values = initSet[int]()
values.incl(2)
values.incl(4)
values.incl(6)
values.incl(2)
echo values.len
echo "----------------"
for value in values:
    echo value

リストからHashSetへの変換(toSet)

import sets
var values = toSet([2, 4, 6])
values.incl(2)
echo values.len
echo "----------------"
for value in values:
    echo value

値の削除(excl)

import sets
var values = toSet([2, 4, 6])
values.excl(2)
echo values.len
echo "----------------"
for value in values:
    echo value

値の存在チェック(contains)

import sets
var values = toSet([2, 4, 6])
echo values.contains(2)
echo values.contains(3)

関連記事

• Nim デバッグビルドとリリースビルドの実行速度
• Nim トランザクションを使用し、郵便番号と住所情報をMySQLに登録する
• Nim HashSetの使い方
• Nim MySQLに文字コードを指定して接続し、データの検索、登録を行う(db_mysql)
• Nim リスト内包表記

テーマ:プログラミング - ジャンル:コンピュータ

1. 2018/08/27(月) 22:21:07|
2. nim
3. | トラックバック:0
4. | コメント:0
5. | 編集

必要なソフト

ダウンロード

設定

依存しているライブラリのインストール

初期設定とパーミッション

データベースの準備

nginxの設定

Pre-Flight

関連記事

• Snipe-IT を Ubuntu Server 18.04にインストール
• Ubuntu Server 18.04.1 sources.listの変更点
• nginx + php-fpmでfuelphp 1.8.1を動作させる
• C言語でMQTTクライアントを動作させる(paho.mqtt.embedded-c)
• Ubuntu 18.04にArduino IDEをインストールして、プログラムをArduinoに書き込む

テーマ:サーバ - ジャンル:コンピュータ

1. 2018/08/25(土) 17:16:50|
2. 備忘録
3. | トラックバック:0
4. | コメント:0
5. | 編集

sources.list

不足分

関連記事

• Snipe-IT を Ubuntu Server 18.04にインストール
• Ubuntu Server 18.04.1 sources.listの変更点
• nginx + php-fpmでfuelphp 1.8.1を動作させる
• C言語でMQTTクライアントを動作させる(paho.mqtt.embedded-c)
• Ubuntu 18.04にArduino IDEをインストールして、プログラムをArduinoに書き込む

テーマ:プログラミング - ジャンル:コンピュータ

1. 2018/08/25(土) 15:41:50|
2. 備忘録
3. | トラックバック:0
4. | コメント:0
5. | 編集