【Python】pandasで取得したDataFrameのデータに対して、特定文字が含まれるかのチェックを行う

pandasで取得したDataFrameのデータに対して、特定文字が含まれるかのチェックを行う

Excelファイル形式のデータをpandasライブラリを読み込み、データの中に特定の文字列を含むかどうかをチェックする方法について調べました（ChatGPTが）

列単位でチェックする方法

単純に、特定の列のデータに対して文字列を含むかどうかを調べたいだけであれば isin を使うのが最も手っ取り早そうです。

# 例：Excelの中身（df） # name city # 0 Alice Tokyo # 1 Bob Osaka # 2 Charlie Nagoya # 比較したいリスト check_list = ["Tokyo", "Osaka", "Fukuoka"] # サンプルコード df["city"].isin(check_list) # 実行結果 0 True 1 True 2 False Name: city, dtype: bool

isinを使うことで、行ごとに文字を含むかどうかの真偽値が返却されます。

１セルごとにチェックする方法

今回は某アプリケーションのアウトプットを想定して、アプリケーション名に含まれているベンダー名、製品名、バージョンを取得して、不足している列の情報を保管したかったことから、１セル単位でチェックをすることにしました。
理想のインプットは、ベンダー名、製品名、バージョンが全て補完されているデータなのですが、某製品は情報にばらつきがあり、アプリケーション名という項目にベンダー名+製品名+バージョンみたいなデータ管理がされているデータもあり、そのようなケースにおいてアプリケーション名から可能な限り先の情報を取得することが目的です。
某アプリケーションの詮索はやめてください（笑

# 製品情報一覧の内容を１行ずつ取得して補完処理を行う。 for index, row in editdatas.iterrows(): appname = row[headers[self.HEADER_APPNAME]] vender = row[headers[self.HEADER_VENDER]] # ベンダー名が未編集の場合は補完を行う。 if vender.strip() == "": # venderlist から一つずつデータを取得 for sample in venderlist: # vender に sample の文字列が含まれるかどうかを比較 # 全て小文字に変換した上で比較を行う if sample.lower() in appname.lower(): editdatas.loc[index,headers[self.HEADER_VENDER]] = sample break

やっていることは相当アナログで、まずiterrowsで１行ずつデータを取得します。
その後、appname（アプリケーション名）列の情報を取得して、NVDのCPEから取得したベンダー名の一覧と付き合わせし、CPEのベンダー名を含む文字列があったら、ベンダー名を「ベンダー名」列に編集するという方法です。
まだ動かしていないのですが、パフォーマンスが相当悪いことが予想されます。
今日は脳みそが働いていないので、改善方法は後日考えます。（現実逃避）

コメント

コメントを投稿

このブログの人気の投稿

【python】PySide6 におけるウィンドウとかダイアログボックス内のアイテムの自動調整

PySide6 におけるウィンドウとかダイアログボックス内のアイテムの自動調整 PySide6などに同封されるDesignerでWindowやDialogを作成する際、verticalLayoutWidgetをまず画面いっぱいに配置して、その中にhrizonalLayoutWidgetを配置して、、、とGUIを作成していきます。 ただ、Designer上でverticalLayoutWidgetの設定を「SetDefaultConstraint」にする方法がわからず、毎回 GitHub Copilotに修正してもらっていたのですが、現在 GitHub Copilotの１ヶ月間で使用できる無料の範囲を使い切ってしまったので、ChatGPTに質問してみました。 質問内容はただ単に、ダイアログボックスとかの大きさにあわせてverticalLayoutWidgetを動的にサイズ変更したい、という至ってシンプルな内容です。 #before <property name="sizeConstraint"> <enum>QLayout::SizeConstraint::SetFixedSize</enum> </property> #after <property name="sizeConstraint"> <enum>QLayout::SizeConstraint::SetDefaultConstraint</enum> </property> 本当はDesignerから変更する方法がわかれば手っ取り早いのですが、今はこれで妥協しておきます。
続きを読む

脆弱性評価システムを作る〜CVSSとは〜

週間・脆弱性評価システムを作ろう〜CVSSとは〜 前回に引き続いて脆弱性情報についてです。今回はCVSSについてまとめました。 ソースは引き続きIPAとChatGPTとなります。 CVSS （ Common Vulnerability Scoring System) とは 共通脆弱性評価システム CVSS （ Common Vulnerability Scoring System) は、情報システムの脆弱性に対するオープンで包括的、汎用的な評価手法の確立と普及を目指し、米国家インフラストラクチャ諮問委員会（ NIAC: National Infrastructure Advisory Council ）のプロジェクトで 2004年10月に原案が作成されました。 その後、CVSSの管理母体として FIRST(Forum of Incident Response and Security Teams)が選ばれ、FIRSTのCVSS-SIG(Special Interest Group)で適用推進や仕様改善が行われており、2005年6月にCVSS v1が、2007年6月にCVSS v2が公開されました。 CVSS は、情報システムの脆弱性に対するオープンで汎用的な評価手法であり、ベンダーに依存しない共通の評価方法を提供しています。CVSSを用いると、脆弱性の深刻度を同一の基準の下で定量的に比較できるようになります。また、ベンダー、セキュリティ専門家、管理者、ユーザ等の間で、脆弱性に関して共通の言葉で議論できるようになります。 CVSSでは次の3つの基準で脆弱性を評価します。 CVSSの目的 標準化された評価   ベンダーごとに異なっていた脆弱性の深刻度表現を標準化し、共通の尺度で評価します。 定量的な評価   脆弱性の深刻度を0.0から10.0の数値で定量的に表現し、比較可能にします。 共通の言語   セキュリティ担当者、ベンダー、ユーザーな...
続きを読む

dict型オブジェクトを内包するlistオブジェクトのコピー

dict型オブジェクトを内包するlistオブジェクトのコピー（代入）をしたくて、当初は以下の通り行っていたが、これだと値ではなく、参照渡しがされてしまってい るようで、 work_driverPaths を変更すると driverPaths の方にもその結果が反映されてしまった。 self.work_driverPaths = self.driverPaths そのため、以下の通り copy ライブラリの deepcopy を使用して解決。 self.work_driverPaths = copy.deepcopy(self.driverPaths) コパイロットぴ◯ょん君の回答 list型とdict型を併用した場合に参照渡しが発生する要因 = で代入するときの動作だね。代入した側のオブジェクトとオリジナルのオブジェクトがリンクすることについて気づいたかな？ 実際、 = は 浅いコピー（shallow copy） を作るだけなので、両方のオブジェクトが同じ参照を共有してしまうんだ。 deepcopyの機能について 深いコピー : オリジナルのオブジェクトとそのコピーが完全に独立して動作する。 再帰的処理 : 内部のネストされたオブジェクトもすべてコピーする。 安全性 : オリジナルを変更してもコピーには影響がない。
続きを読む