すげえよ。めちゃハイテクじゃん。Chromeでも動くし。IEでしか動かない＆Java or ActiveXゴリゴリかと思ってました。*3この場で謝罪いたします。このまま手書きとはんこを抹殺してください。よろしくお願い申し上げます。
TLは技術好きが多いのでレビュー記事出るかなと思ったんですけど、みんなツイートすらしないので記事書いちゃいました。みんな都会に住んでんのか。そもそも世帯主じゃないか。
import sqlite3
import logging
WORD2VEC_TEXT = "jawiki_normalized.kv.txt"
DB_PATH = "jawiki_normalized.kv.db"defreturn_column_names(n):
if n >= 0:
r = "keyword TEXT PRIMARY KEY,"for i inrange(n):
r += f" vec{i} integer,"else:
r = "?,"for i inrange(-1*n):
r += "?,"return r[0:-1]
if __name__=="__main__":
fmt = "%(asctime)s %(levelname)s %(name)s :%(message)s"
logging.basicConfig(level=logging.INFO, format=fmt)
con = sqlite3.connect(DB_PATH)
c = con.cursor()
withopen(WORD2VEC_TEXT, "r") as f:
fl = f.readline()
logging.info("Start: " + fl)
count = int(fl.split(" ")[0])
size = int(fl.split(" ")[1])
c.execute(f"create table kv( {return_column_names(size)} );")
for i inrange(2, count+2):
line = f.readline()
row = line.split(" ")
iflen(row) != (size+1):
logging.warn(f"Index error: line: {i} text: {line}")
continue
c.execute(f"insert into kv values ({return_column_names(-1*size)});", row)
if i % 10**4 == 0:
logging.info(f"{i} / {count} done. {i/count*100} percent.")
con.commit()
logging.info("DONE!!!")
con.commit()
con.close()
DBができたら、インデックスを作っておきましょう。
$ sqlite3 jawiki_normalized.kv.db
SQLite version 3.22.02018-01-2218:45:57
Enter ".help"for usage hints.
sqlite> create index keyword_index on kv(keyword);
sqlite> .exit
DBのCursorを受け取って、ベクトルを返す関数は以下のようになります。
defget_vec(c_kv, surface):
c_kv.execute("select * from kv where keyword=?;", (surface,))
r = c_kv.fetchall()[0]
return np.array(r[1:])
昔からしりとりが好きだった。しりとりは一見すると、勝ち負けもないようなただの言葉の言い合いに過ぎない。しかし、しりとりには明らかに「強い人」「弱い人」が存在する。どうすれば強くなれるのだろうか。 Googleで適当に検索してみると、色々出てくる。「る攻め」がいいとか「ぷ攻め」がいいとか。僕は昔「む攻め」を極めたし、友達には「や攻め」使いがいた。しかし、これらの言説に総じて言えるのは、「論拠の不足」であろう。感覚的に「〇〇が強い」というのは、信用に値するのであろうか。そんなことを日々思っていたときに、ある本に出会った。とつげき東北氏の「科学する麻雀」である。麻雀は「ツキと流れ」が支配する感覚のゲームと長い間思われていた。しかし、統計学やコンピュータシミュレーションを用いることで「麻雀必勝法」を科学的に導出できることをこの本は示している。しりとりの話から逸れてしまったが、僕はしりとりでも同じことが研究できるはずだと思ったのである。
そこで、僕の稚拙なプログラミング能力を生かしてしりとりを科学的に極めてやろうと思ったのだ。僕はこの計画に「Ngok」という名前をつけた。ンゴックとはアフリカ、南スーダン共和国の遊牧民族の名前であり、また、「Ngok is the Gear Of Kotoba-asobi」の頭文字である。GitHubにリポジトリを公開しているので、暇だったら覗いてほしい。とはいえ、人に見せるものではないような気もする。
この記事はそんなくだらない遊びの中間報告である。書いている人の頭は良くない。
