データサイエンティフィック日記

PowerShellからWatsonのテキスト分析を叩いてみた。

$account = @{ “username” = **** “password” = **** }

$spass = ConvertTo-SecureString $account.password -AsPlainText -Force $user = $account.username

$cred = New-Object System.Management.Automation.PSCredential $user, $spass

$endPoint = “https://gateway.watsonplatform.net/natural-language-understanding/api/v1/analyze?version=2018-03-16” $text =…

Build 2018で.NET環境に機械学習を実装するML.NETが発表されました。今までですと、Accord.NET、KelpNetなどいくつかの機械学習を可能にするライブラリがコミュニティベースで実装されてきたわけですが標準といえるものはありませんでした。ML.NETはフレームワークとして作られ、まさにその標準を担うものといえます。

ML.NETは機械学習の実装だけでなく、フレームワークを提供するのが肝といえます。また、クロスプラットフォームで.NET Coreで実装されているため、プラットフォームを選ばずに実行できます。とりあえず、German Credit のデータを放り込んで触っているところです。

現在のところ、Linear SVMなどいくつかのモデルが使えますが、おそらく、Accord.NET…

2018/5/7から開催されている、Microsoft Build 2018で発表された、Cognitive Serviceのアップデートで、Custom Vision APIのモデルをエクスポートできる拡張が入るようです。公式 Blogの記事では以下のようになっています。

Custom Vision (in preview) makes it easy to build and refine customized image classifiers that can identify specific content in images. Today, we’re announcing that Custom Vision now performs object recognition as well.  Developers can now use Custom Vision to…

PowerShellもバージョンを重ね、WindowsだけではなくLinuxでの稼働などいろいろな方向性が見えてきている。それらを踏まえて、インフラ側ではなく分析者として活用を過去の事例を踏まえて検討する。 私は、業務において分析者として、PowerShellを活用してきた。なぜならば、PowerShellは.NET Framework、そして、WindowsであればCOMコンポーネントを呼び出せるため、通常だと操作がしにくいものも操作できる可能性があるためである。 例えば、パスワード付きのExcelファイルなどは分析者泣かせである。ETLツールでの対応もほとんど見ないため、分析のワークロードの中にパスワード付きExcelが入ってくるとかなり面倒になる。しかし、コンプライアンス等々の観点から、パスワード付きExcelファイルなどを処理したいというニーズは存在するであろう。…

DPマッチングのコードをF#で書いてBitbucket で公開しました。基本的な考え方はあちこちで触れられているアルゴリズムをそのまま実装しているので特徴と呼べるものはあまりないですね。まあ、半分、知識の確認がてら作ったようなものですから。

ソニーが先に公開した、Neural Network Consoleで遊んでいる。ごくごく当たり前のモデルであればありがちな設定というのはある程度確立しているものがありその設定でいいだろう。しかし、それだけであると少し変化球を投げられると破綻する。結果、mnist +alpha で悶々とする事態は発生する。 例えば、文字と一緒にだれが書いたかモデルに組み込もうとすれば、文字種を増やして対応するとか弥縫策と思う対応はいくつも思いつくが仕組みとして組み込もうとすればどこかでモデルの構造に挑まざるを得ないだろう。そういったときに、現行のTensor FlowやCognitive Toolkit との格闘は正しいだろうかということになる。現在は、Deep Learning≒Python とみられていることもあり、半ばPython技能が必須に近くなっているがそれがいつまでも正しいだろうか。…

いろいろと設定の未解決部分を解決した。特にCloudflareとWordpressの相互作用あたり。

Temporary Post Used For Theme Detection (360a4281-43c8-4507-ad20-d7616fff4445 – 3bfe001a-32de-4114-a6b4-4005b770f6d7)

This is a temporary post that was not deleted. Please delete this manually. (98b644d8-1709-41ed-9e0e-af3df507d619 – 3bfe001a-32de-4114-a6b4-4005b770f6d7)

Temporary Post Used For Theme Detection (8637cc50-e149-479f-8849-7153655f6a50 – 3bfe001a-32de-4114-a6b4-4005b770f6d7)

This is a temporary post that was not deleted. Please delete this manually. (ae0445a1-a0c7-4c6c-8bcb-450fe5bb263f – 3bfe001a-32de-4114-a6b4-4005b770f6d7)

TJOさんがなにやら、ためになる記事を書いているので乗ってみます。Let’s throwing Masakari. 汎化性能についてはそのままだと思います。基本的には、正にその通りです。ここで付け加えることは多くはないです。とはいえ、とはいえ、汎化性能でもそうなのですが、問題はどこまで求めるかですね。つまり、どこまで性能の引き上げを頑張るかです。 例えば、それがセールスとかのモデルであれば最終的なモデルの出来不出来の目安は売り上げとなるでしょう。まあ、売り上げに至るまでの細かい情報が取れる場合にはその辺の情報も加味されるかと思います。…

PC Watchの後藤氏によるアーティクル “AMDの次世代CPUコア「ZEN」のニューラルネットワーク分岐予測機能“。注意すべきはCPUの分岐予測関連は完全に秘密のベールに包まれており、AMDが先行しているかどうかはよくわからないということに尽きる。AMDにしても殆どの情報は非公開でありほとんど情報はない。 恐らく、単層のパーセプトロンだろうってことぐらいしか、恐らくほとんど情報はないのではないか。ただ、実用上はいわゆるオンライン学習になっているだろうとも考えられる。ただ、そうすると学習したモデルの揮発からの保護はどうなっているのかという問題も生じる。一旦、学習させ尽くしてしまってコールドスタート時からはファクトリープリセットのモデルに戻すというのならばこの問題は生じないが。…

さて、クリスマスです。細かい話をするのもないので、この発表から。 ガートナーの発表した、AIのよくある誤解はすごくわかりやすいです。 すごく賢いAIが既に存在する。 IBM Watsonのようなものや機械学習、深層学習を導入すれば、誰でもすぐに「すごいこと」ができる。 AIと呼ばれる単一のテクノロジが存在する。 AIを導入するとすぐに効果が出る。 「教師なし学習」は教えなくてよいため「教師あり学習」よりも優れている。 ディープ・ラーニングが最強である。 アルゴリズムをコンピュータ言語のように選べる。 誰でもがすぐに使えるAIがある。 AIとはソフトウェア技術である。 結局、AIは使い物にならないため意味がない。…

Visual Studio Code で Stan 拡張を作ってみようとする

今日はVisual Studio Code Advent Calendar 23日目のはずです。さて、Visual Studio Codeを使っていて、はたと困ったのはStanの機能拡張がなかったことです。ないのならば作ってしまえホトドギスで作ってみようとしました。まず、開発環境を用意しようとしました、それほど長時間使うわけでもないし困ったらサクサク作り直したいので、Microsoft AzureからA1v2を1インスタンス用立てて作ります。Linux環境を作らないのは手っ取り早くリモートデスクトップでつなぎたいからです。 とりあえず、必要なものを考えてみます。まず、StanのテストはR上で行うことにして、RStanをベースにします。RのVisual Studio Codeの機能拡張は既にあるし、まあ、Visual…

Visual Studio 2017 RC でwow

Stan Langauage Extension for Visual Studio Code を作ろうとしていて、Azure上に環境をでっち上げていたら、Visual Studio 2017 RCのインストールを初めておもむろに、インストーラの画面を見てかなり感動。 データサイエンス用の設定が独立してある。  

先日のMicrosoft Azureの機能拡張でDevTest Labs由来の自動シャットダウン機能が仮想マシンにつきました。この機能のリリース前はAzureの機能の一つであるAzure Automationを使って自動シャットダウンを実施する必要がありました。特に単価の高い、Hadoopなどのクラスターなどは確実にシャットダウンしないと金銭的に破滅しますので重要です。 この機能の設定はとても簡単です、管理支援機能であるAzure Automationの設定と比較しても簡単です。勿論、できることは限定されますが、自動シャットダウンというものを実現するには十分です。 インターフェイス上は仮想マシンのスケジュールのところにあります。 Screen shot of Azure Portal

DeepLearning Advent Calendarの23日目と推定されます。LSTMとかは色々と間に合わなかったので、プランBにより別テーマで過去への巡礼をしてみます。 Microsoft Azureの機械学習のPaaSであるAzure Machine LearningにはNet#というDSLがありこれを使うことで深層学習をニューラルネットワークのモデルに盛り込むことができる。実際に、Cortana Inteligence Galleryには”Neural Network: Convolution and pooling deep net“というテンプレートが存在する。中身を見てみる。 Net#を使って、深層学習の実現ができるという話は早くは国内では2015年のde:codeで語られている。確か、セッション「実践Azure Machine…

先日、Azure NotebooksがAzure Machine Learningから独立するような形でアップデートし、F#がAzure Notebooksで使えるようになりました。Azure NotebooksはJupyter Notebookベースの環境で現在、R、Python 2/3、F#が使えます。従って、F#環境をいろいろいじって色々確かめようと考えたわけです。主に、分析者目線で。 さて、この環境がどのような形でホストされているのか気になります。特に、分析者として使うならF# DataとかMath.NETとか使ってみたいですしね。環境の方は意外な形でわかりました。 #Rと参照を打った時に出た候補で環境に関してはもろばれと言ってよいかと思います。おそらく、.NET Coreとかで実現された.NET環境を何らかのLinux上に構築しているかと思います。…